文件名称:MapReduce容错机制-google云计算培训课件
文件大小:6.75MB
文件格式:PPT
更新时间:2024-05-12 13:31:03
云计算
MapReduce容错机制 背景 MapReduce设计初衷:由普通PC组成的集群来处理超大规模的数据,所以有效的错误保障机制是必不可少 Worker容错 Master周期性的ping每个worker Master容错 Master周期性的将Master的数据结构的写入磁盘,即检查点(checkpoint) Master数据结构包括: Map和Reduce任务的状态(空闲、工作中或完成),以及Worker机器(非空闲任务的机器)的标识。 * *