文件名称：data-pipeline-airflow:使用Airflow的数据管道将数据从S3加载到Redshift
文件大小：97KB
文件格式：ZIP
更新时间：2024-04-20 06:47:01
Python
Sparkify气流数据管道 概述 该项目使用Apache Airflow为Sparkify构建数据管道，该数据管道可自动执行并监视ETL管道的运行。 ETL从S3以JSON格式加载歌曲和日志数据，并在Reshift上以星型模式将数据处理到分析表中。 星型模式已用于允许Sparkify团队轻松运行查询以分析其应用程序上的用户活动。 Airflow每小时安排一次该ETL，并通过运行数据质量检查来监视其成功。 结构 udac_example_dag.py包含父DAG的任务和依赖项。 load_dimension_table_subdag.py包含用于加载维表的子数据。 create_tables.sql包含用于在Redshift中创建所有必需表SQL查询。 应将其放置在Airflow安装的dags目录中。 sql_queries.py包含用于创建和加载ETL流程中使用的表SQL查询。
【文件预览】：
data-pipeline-airflow-master
----images()
--------Airflow_subdag.PNG(5KB)
--------Airflow_dag2.PNG(34KB)
----Airflow_subdag.PNG(5KB)
----README.md(3KB)
----airflow()
--------airflow()
----Airflow_dag2.PNG(34KB)