文件名称：etl_airflow:Python和Postgres的气流教程
文件大小：12KB
文件格式：ZIP
更新时间：2024-04-10 08:39:31
Python
气流教程 本教程演示了如何使用Apache Airflow进行工作流程编排。 问题陈述 从PGCB网站执行ETL作业。从第一页提取每日报告，清理数据并将其存储在数据库中。该脚本只会从首页提取新报告；这意味着如果ETL作业已经下载了前几天的数据，它将仅下载当天的报告。 项目结构 etl_airflow |--etl | |--Dockerfile | |--etl.py | |--requirements.txt |--.gitignore |--docker-compose.yml |--README.md
【文件预览】：
etl_airflow-main
----dags()
--------dummy_dag.py(228B)
--------etl.py(10KB)
--------etl_dag.py(1KB)
----.env(127B)
----requirements.txt(244B)
----docker-compose.yml(723B)
----.gitignore(39B)
----etl()
--------Dockerfile(642B)
--------etl.py(10KB)
--------requirements.txt(414B)
----README.md(1KB)
----scripts()
--------entrypoint.sh(143B)