文件名称:new_york_taxis
文件大小:33KB
文件格式:ZIP
更新时间:2024-04-10 21:25:54
Python
纽约出租车管道 管道使用 要求: Docker + Docker-compose 安装 克隆存储库git clone https://github.com/robomillo/new_york_taxis.git 导航到目录的根目录 运行docker-compose up 。 (如果气流Web服务器陷入重启周期,请运行docker-compose down -v && docker-compose up ) 捷径 为了减少为求速度而下载和处理的数据的大小,我仅在2019年将数据限制为每月数据集。 正在运行的管道 导航到气流的默认凭据:用户= airflow密码= airflow 确保dag处于活动状态 单击以触发dag运行: 助手查询 所有转换查询都可以在找到 问题2.1 SELECT * FROM datasets.popular_dest_zones_by_total_passe
【文件预览】:
new_york_taxis-master
----postgres.env(48B)
----README.md(1KB)
----docker-compose.yml(1KB)
----airflow()
--------Dockerfile(310B)
--------scheduler-entrypoint.sh(102B)
--------webserver-entrypoint.sh(118B)
--------requirements.txt(41B)
----.gitignore(57B)
----airflow.env(124B)
----dags()
--------initiliaz_db_schemas()
--------new_york_taxis.py(2KB)
--------__pycache__()
--------transform_taxi_data()
--------load_taxi_data()
----postgres()
--------init_db.sql(57B)
--------Dockerfile(96B)
----static()
--------trigger.png(6KB)
--------dag.png(11KB)