文件名称：airflow-testing-ci-workflow:（项目和教程）dag管道测试+ CDD设置
文件大小：390KB
文件格式：ZIP
更新时间：2024-06-11 08:30:10
testing airflow tdd project data-engineering
使用测试+ CI工作流程开发Airflow DAG 该代码是对的文章的补充。 我建议您阅读以更好地理解代码以及我认为如何设置项目的方式。 该项目 以下是该项目将要完成的摘要。 我们将模拟来自电子商务的一些虚假交易数据的传输。 将数据从otlp-db数据库传输到olap-db数据库的简单任务。 为了帮助开发，我们使用本地开发环境来构建带有测试的管道，还使用带有Github Action的持续集成管道来确保在每次更改时都应用测试。 货柜 气流：容器在本地运行以进行开发； oltp-db和olap-db ：在生产环境中模拟数据库并接收虚假数据的容器； 在本教程中，我们将仅开发管道的仪表板部分。 依赖关系？ Docker，docker-compose和makefile。 怎么跑？ 以下命令将使用docker-compose设置环境。 等待几分钟（240秒，是吗？），以便Airf
【文件预览】：
airflow-testing-ci-workflow-master
----.flake8(49B)
----.gitignore(2KB)
----README.md(4KB)
----.github()
--------workflows()
----.env(482B)
----tests()
--------test_sales_pipeline.py(3KB)
----docker-compose.yml(2KB)
----sql()
--------init()
--------sales()
----dags()
--------dag_sales_pipeline.py(3KB)
----requirements.txt(40B)
----data()
--------products.csv(180B)
--------purchases.csv(389B)
--------expected()
----Makefile(519B)
----assets()
--------how-to()
--------images()