文件名称:evolving_etl:由Prefect提供支持的ETL数据流水线
文件大小:8KB
文件格式:ZIP
更新时间:2024-03-04 00:47:18
Python
不断发展的ETL 一系列数据管道展示了Prefect Core / Cloud工作流语义。 每个数据管道都建立在先前的级别上,并在随后的每个流程中添加了特性。 ETL的每个级别都显示以下内容: 本地演进ETL 级别1-功能和命令式API,任务装饰器,流上下文,数据依赖项,任务子类,流方法 级别2-流/任务动态性,参数,映射,控制流语义,参数化调度 级别3-任务级别配置,重试,结果,触发器,状态处理程序,记录器 云演进ETL 级别1-功能和命令式API,任务装饰器,流上下文,数据依赖项,任务子类,流方法 级别2-流动力学,参数,映射,控制流语义 级别3-任务和流程级别配置,结果,重试,触发器 级别4-编排,实用程序功能,状态处理程序,参数化调度 5a级-部署,存储,流环境,执行程序,注册到Prefect Cloud 5b级-补充yaml文件 最近的演讲: Prefect / In
【文件预览】:
evolving_etl-master
----local()
--------level_1b.py(484B)
--------level_3.py(2KB)
--------level_2.py(1KB)
--------level_1a.py(326B)
----README.md(1KB)
----cloud()
--------level_1b.py(658B)
--------worker_spec.yaml(525B)
--------level_3.py(1KB)
--------level_5.py(3KB)
--------level_4.py(2KB)
--------level_2.py(800B)
--------level_1a.py(467B)