JobDep:支持任务拓扑依赖且专注于调度的系统

时间:2024-05-20 06:07:43
【文件属性】:

文件名称:JobDep:支持任务拓扑依赖且专注于调度的系统

文件大小:34KB

文件格式:ZIP

更新时间:2024-05-20 06:07:43

Java

JobDep JobDep是一个支持任务拓扑依赖且专注于调度的系统,通过为每个Task建立一个由多个Job组成的有向无环图(DAG)来维护依赖关系,只有当所有前序任务都完成时才会触发后序任务。同时JobDep只负责调度不负责执行,Job的触发和通知都通过HTTP接口完成,通知时会在请求参数中携带所有前序任务的返回结果。 JobDep与任务执行节点之间的关系如下: 对于下图中的Task, JobDep会首先触发A, B, 全部完成后触发C, 再触发D, E, 最后触发F。 集群 JobDep可以集群部署,实例相互之间无影响,访问任意一个实例均可提交、通知任务。JobDep会将Task状态信息用一张表保存到MySQL中, 使用数据库事务实现多线程、多实例对状态的安全访问。 任务定义 任务通过yaml文件定义: # job名, 任意 job0: # 触发URL triggerUrl: "


【文件预览】:
JobDep-master
----src()
--------test()
--------main()
----README.md(4KB)
----pom.xml(3KB)

网友评论