dag-stack:具有dbt的数据管道,气流,远大期望

时间:2024-05-31 19:50:13
【文件属性】:

文件名称:dag-stack:具有dbt的数据管道,气流,远大期望

文件大小:5.93MB

文件格式:ZIP

更新时间:2024-05-31 19:50:13

HTML

达格堆栈 具有dbt,Airflow和Great Expectations的演示数据管道。 :hot_beverage: 给我买杯咖啡 :hot_beverage: 如果您喜欢本次研讨会并想说声谢谢,可以在这里给我买杯咖啡: : 谢谢 :grinning_face_with_smiling_eyes: 怎么跑 此存储库包含一个使用 (容器化气流)的可运行演示,这是在Docker容器中运行所有内容的便捷选择。 安装天文学CLI(容器气流),请 注意:如果只想在本地运行Airflow进行开发,则无需注册天文学家云帐户。 只需按照说明安装Astronomer CLI。 运行astro dev start以启动Airflow Docker容器 我必须按照的来处理“不支持buildkit”错误 我还必须减少AIRFLOW__WEBSERVER__WORKERS中的AIRFLOW__WEBSERVER__WORKERS数量,并为Docker分配更多资源,以使Web服务器能够在我的老旧非常慢的笔记本电脑上运


【文件预览】:
dag-stack-main
----.dockerignore(44B)
----Dockerfile(135B)
----great_expectations()
--------notebooks()
--------great_expectations.yml(4KB)
--------plugins()
--------.gitignore(12B)
--------expectations()
----airflow_settings.yaml(567B)
----requirements.txt(99B)
----plugins()
--------example-plugin.py(891B)
----.astro()
--------config.yaml(27B)
----packages.txt(3B)
----README.md(5KB)
----screenshots()
--------Screen Shot 2021-03-31 at 4.25.38 PM.png(102KB)
--------Screen Shot 2021-03-31 at 8.33.57 PM.png(91KB)
--------Screen Shot 2021-03-31 at 4.32.29 PM.png(62KB)
--------Screen Shot 2021-03-31 at 4.19.33 PM.png(92KB)
--------Screen Shot 2021-03-31 at 4.29.44 PM.png(39KB)
--------Screen Shot 2021-03-31 at 4.06.36 PM.png(92KB)
--------Screen Shot 2021-03-31 at 3.59.13 PM.png(75KB)
--------Screen Shot 2021-03-31 at 3.56.02 PM.png(62KB)
--------Screen Shot 2021-03-31 at 8.50.28 PM.png(124KB)
--------Screen Shot 2021-03-30 at 3.48.11 PM.png(103KB)
----profiles.yml(398B)
----data()
--------.DS_Store(6KB)
--------yellow_tripdata_sample_2019-01.csv(932KB)
--------taxi_zone_lookup.csv(12KB)
----slides_dag_stack_odsc_east_april2021.pdf(1.55MB)
----.gitignore(2KB)
----dags()
--------dag_stack_dag.py(6KB)
----dbt()
--------dbt_project.yml(1KB)
--------macros()
--------models()
--------analysis()
--------README.md(566B)
--------snapshots()
--------tests()
--------.gitignore(28B)
----include()
--------great_expectations_docs()

网友评论