airflow-docker-boilerplate:Boilerplate ex。 Docker化的气流

时间:2024-03-05 10:06:43
【文件属性】:

文件名称:airflow-docker-boilerplate:Boilerplate ex。 Docker化的气流

文件大小:18KB

文件格式:ZIP

更新时间:2024-03-05 10:06:43

Python

Docker Boilerplate中的气流 Airflow是由AirBnB开发并使用Python编写的开源代码配置工作编排工具。 有关Airflow体验的详细信息,请参阅文档: : 。 这是我自己的个人气流样板。 我通常在docker本地运行此版本以测试DAG等。它具有以下功能: 安装无头的Chrome和chromedriver,用于Selenium网络抓取(我做很多事情)。 创建Postgres后端(更好)。 所有的Airflow都安装在/ root / airflow中。 为连接加密创建了Fernet密钥。 感谢puckel / docker-airflow的语法帮助。 安装awscli,有时在AWS环境中进行调试时需要。 如果容器停止/重新启动,此版本将不会记住作业历史记录,因此请注意。 :) 调试 对于本地调试,以下命令非常有用: docker build -


【文件预览】:
airflow-docker-boilerplate-master
----.gitignore(7B)
----Dockerfile(1KB)
----dags()
--------shared_dag_functions.py(686B)
--------DAG_example.py(1KB)
----scripts()
--------script_example.py(22B)
----README.md(2KB)
----docker()
--------requirements.txt(259B)
--------entrypoint.sh(778B)
--------airflow.cfg(38KB)

网友评论