文件名称：airflow-python-docker:使用Docker和Airflow为Python项目创建管道
文件大小：27KB
文件格式：ZIP
更新时间：2024-04-30 17:49:46
python docker airflow Python
Python和DockerOperator的气流示例 本示例说明如何使用Docker为Python项目中的不同步骤创建管道。 流水线中的几个步骤由不同的程序包表示。 在此示例中，我们创建了一个非常简单的管道： 下载一些数据， 预处理该数据， 处理数据 为了从我们的Python项目创建虚拟环境和wheel文件，我们使用 。 我们创建了一个使用docker-entrypoint shell脚本来区分运行不同Python软件包的Dockerfile。 在开始任何事情之前，您首先必须使用： poetry build来构建您的项目。 我们已将项目命名为airflow_example-0.1.0-py3-none-any.whl airflow-example ，因此使用build命令创建的wheel文件将在dist目录中可用，并将命名为airflow_example-0.1.0-py3-no
【文件预览】：
airflow-python-docker-master
----poetry.lock(74KB)
----.gitignore(34B)
----Dockerfile(366B)
----requirements.txt(13B)
----pyproject.toml(485B)
----processing()
--------__init__.py(90B)
--------array.py(73B)
----dags()
--------docker-dag.py(2KB)
----docker-entrypoint.sh(358B)
----docker-compose.yml(1KB)
----download()
--------__init__.py(120B)
----README.md(2KB)
----preprocessing()
--------__init__.py(68B)