JobTracker:为Hadoop1实现了实时调度器

时间:2024-07-04 03:50:43
【文件属性】:

文件名称:JobTracker:为Hadoop1实现了实时调度器

文件大小:770KB

文件格式:ZIP

更新时间:2024-07-04 03:50:43

Java

工作追踪器 Hadoop1的默认调度器无法处理实时作业,因此我们在作业配置中添加实时属性并更改调度状态以确保实时作业。 应用了几种实时策略,每个都是一个调度器这里。 该策略实现如下: 将实时属性添加到作业 更改 JobInProgressListener,并更改此文件中的作业队列 更改Scheduler.java中的assignTasks()方法,添加一个模块,杀死未命中的作业 制作jar并更改Hadoop1的配置 重启 Hadoop1 集群 FIFO调度器 默认调度程序调度更早到来的作业 EDFS调度器 将首先安排截止日期较早的作业。 调度器 作业将优先调度,空闲时间较少。空闲时间是剩余计算时间减去截止时间。因此应首先估计剩余计算时间。 调度器 作业将在工作流中以较短的时间排在第一位。 TSDS调度器 作业分为CPU组和I/O组,交替调度


网友评论