文件名称：luigi-warehouse：由luigi驱动的分析仓库堆栈
文件大小：63KB
文件格式：ZIP
更新时间：2024-02-20 11:37:13
mysql python aws workflow spark
路易吉仓库 在Groupon上的样板实现 是一个Python软件包，可帮助您构建批处理作业的复杂管道。 它处理依赖关系解析，工作流管理，可视化，处理故障，命令行集成等 路易吉仓库增加了 工作流程示例（即将postgresql表复制到redshift） 更多数据来源 不依赖默认luigi行为/配置的可变数据源（即VariableS3Client ） 安装/设置 安装 -这已回购对Python进行了测试3.4+ 简单 python setup.py install 开发人员-如果您想使用自定义逻辑修改/使用工作流程 克隆此仓库 如果想要所有数据源的全部功能，请使用pip3 install -r requirements.txt 安装后 mkdir your-path-to/data 将您的凭据和设置放在luigi.cfg 。 luigi.cfg-example显示了一些可能的选项。 您也可以$ export LUIGI_CONFIG_PATH=/path/to/your/luigi.cfg && python... 您已准备好复制或移动数据... 入门 包括一些示例工作流程。 假
【文件预览】：
luigi-warehouse-master
----CONTRIBUTORS.md(218B)
----requirements.txt(285B)
----setup.py(7KB)
----LICENSE.md(1KB)
----.gitignore(1KB)
----luigi_warehouse()
--------zendesk_to_hadoop.py(10KB)
--------postgres_to_redshift.py(34KB)
--------typeform_to_redshift.py(7KB)
--------gsheet_to_hadoop.py(5KB)
--------test()
--------zendesk_to_redshift.py(23KB)
--------gsheet_to_redshift.py(6KB)
--------sources.py(69KB)
--------teradata_to_redshift.py(5KB)
--------__init__.py(223B)
--------validation.py(26KB)
--------postgres_to_hadoop.py(8KB)
--------salesforce_to_redshift.py(6KB)
----README.md(12KB)
----luigi.cfg-example(2KB)