文件名称：luigi-td-example:使用 Luigi +TD 构建复杂数据管道的示例存储库
文件大小：9KB
文件格式：ZIP
更新时间：2024-07-06 05:15:01
Python
Luigi + Treasure 数据工作流示例 在上构建复杂的数据管道？ 不要编写临时脚本。 此存储库包含使用的示例数据工作流示例， 是一个基于 Python 的强大工作流引擎。 此示例使用 ，这使 Luigi 用户更容易从 Luigi 访问 TD REST API。 示例任务列表 目录包含几个基本的工作流任务，可以用作构建块。 所有示例都使用 ，这是一个可以更轻松地使用的库。 文件名 描述 执行 Hive 查询，并等待完成。 执行 Presto 查询，并等待完成。 执行 Presto 查询，下载查询结果，并转换并存储为本地目录中的 CSV 文件。 执行Hive查询，将结果写入TD表中。 然后执行 Presto 查询以使用生成的表。 最后，下载第二个查询结果并将其以 CSV 格式存储在本地目录中。 这表示每小时执行一次 Hive 查询。 该脚本应该由。 Daily_hive
【文件预览】：
luigi-td-example-master
----cron.py(768B)
----app.json(595B)
----Procfile(22B)
----requirements.txt(56B)
----.gitignore(43B)
----README.md(6KB)
----apps()
--------__init__.py(0B)
--------examples()
----client.cfg(77B)