文件名称:luiti:基于luigi的时间任务管理框架,支持多个项目
文件大小:400KB
文件格式:ZIP
更新时间:2024-06-07 13:13:51
Python
路易帝 正如的主页所说,它是“一个Python模块,可帮助您构建批处理作业的复杂管道。它处理依赖关系解析,工作流管理,可视化等。它还内置了Hadoop支持。” Luiti建立在Luigi的基础上,将所有任务分成多个包,并每个Python文件强制执行一个任务。 Luiti任务类可以通过luiti命令进行管理,支持的操作包括ls,new,generate,info,clean,run和webui。 Luiti诞生于建立分层的数据库仓库,该仓库与我们刚提到的不同软件包相对应。 数据仓库由同步数据源,事实表,维度表,常规或临时业务报告组成。 批处理系统的本质是将一个大任务分解为多个小任务,而业务报告的本质是需要每日报告或每周报告,因此有TaskDay,TaskWeek等。 任务类还具有Hadoop版本,例如TaskDayHadoop,TaskWeekHadoop等。 您可以传递任何参数到