文件名称:awesome-etl:精选的ETL框架,库和软件的精选清单
文件大小:6KB
文件格式:ZIP
更新时间:2024-06-02 03:59:58
真棒 精选的ETL(提取,转换,加载)框架,库和软件的精选列表。 相关清单 工作流程管理/引擎 -“使用气流将工作流编写为任务的有向无环图(DAG)。气流调度程序在遵循指定的依赖项的同时,在一组工作线程上执行您的任务。丰富的命令行实用程序使在DAG上执行复杂的手术变得很容易。用户界面使可视化生产中运行的管道,监视进度以及在需要时对问题进行故障排除变得容易。” Azkaban- “在LinkedIn上创建的用于运行Hadoop作业的批处理工作流作业调度程序。Azkaban通过作业依赖关系解决了排序问题,并提供了易于使用的Web用户界面来维护和跟踪您的工作流。” Dray.it- “ Docker工作流引擎。允许用户将工作流分成离散的步骤,每个步骤都由一个容器处理。” Luigi- “一个Python模块,可以帮助您构建批处理作业的复杂管道。它处理依赖关系解析,工作流管理,可视化等。
【文件预览】:
awesome-etl-master
----README.md(14KB)