MapReduce容错机制-google云计算培训课件

时间:2024-05-12 13:31:03
【文件属性】:

文件名称:MapReduce容错机制-google云计算培训课件

文件大小:6.75MB

文件格式:PPT

更新时间:2024-05-12 13:31:03

云计算

MapReduce容错机制 背景 MapReduce设计初衷:由普通PC组成的集群来处理超大规模的数据,所以有效的错误保障机制是必不可少 Worker容错 Master周期性的ping每个worker Master容错 Master周期性的将Master的数据结构的写入磁盘,即检查点(checkpoint) Master数据结构包括: Map和Reduce任务的状态(空闲、工作中或完成),以及Worker机器(非空闲任务的机器)的标识。 * *


网友评论