公平调度是以pool为单位分配任务slots的,容量调度以queue的方式分配tasktracker的,当都只有一个job的时候,两种调度器都可以利用整个集群的资源,在每个pool内部可以是以FIFO方式调度也可以是公平方式调度,但是在queue内部只能是以FIFO方式调度,这是公平调度和容量调度的一个区别,虽然在queue内部可以设置优先级但是并不支持抢占,在pool内部是支持抢占的,就是可以为某个pool(通常是生产上的用户)分配最低的任务slot,当这个pool得不到最低的资源的时候他就会kill其他的job的task以使自己获得最低的资源,这并不会引起其他的job的失败,因为job也是master-slaver的结构,也是容错的
相关文章
- 黑马程序员--银行调度系统的笔记和总结
- 第一次作业:关于Linux 2.6.20进程模型和O(1)调度器算法的分析
- Powershell v4。创建将过期和删除的远程任务调度器任务集
- CDH5.4.4基于yarn的公平调度器配置
- (Matlab实现)基于蒙特卡诺和拉格朗日乘子法的电动车调度【有序、无序充放电】
- javascript中apply、call和bind的区别,容量理解,值得转!
- Linux内核分析--理解进程调度时机、跟踪分析进程调度和进程切换的过程
- boost中asio网络库多线程并发处理实现,以及asio在多线程模型中线程的调度情况和线程安全。
- 问个小小的问题,Linux和Unix进程的调度策略和调度机制是否一样?
- 基于yarn的公平调度实例