文件名称：基于心跳超时机制的Hadoop实时容错技术 (2015年)
文件大小：440KB
文件格式：PDF
更新时间：2024-06-20 19:57:22
工程技术 论文
针对官方的Hadoop软件中提供的节点心跳超时容错机制对短作业并不合理，而且忽略了异构集群中各节点超期时间设置的公平性的问题，提出了公平心跳超时容错机制。首先根据每个节点的可靠性及计算性能构建节点故障误判损失模型，提出公平误判损失（FMJL）算法，使其同时满足长作业和短作业要求；接着，设计并实现了基于 FMJL算法的公平超时机制。在实现了公平超时机制的Hadoop上运行大约345 s的短作业时，当出现TaskTracker节点故障时作业完成时间平均大约节省了44%，与自适应超时机制相比，作业完成时间大约节