本节内容：Lect 1
MapReduce框架的执行过程：
master分发任务，把map任务和reduce任务分发下去
map worker读取输入,进行map计算写入本地临时文件
map任务完成通知master 告知本地中间结果文件的位置大小信息
master通知reduce worker
reduce worker从不同的map worker读取自己负责的部分，这个过程称为shuffle
reduce worker读取之后会在本地进行排序
调用用户的reduce方法进行计算
最终reduce将结果输出到全局的文件系统(GFS) 失败处理的过程： master故障：不处理，外部程序决定是否重做
worker故障：master定时ping各个worker，若一段时间ping不通说明崩了
如果发现了某个worker故障了
这个worker执行中的reduce和map任务都会被标记为空闲重新分配
如果是reduce任务并且执行完了那么就忽略不管（reduce生成的结果存在GFS，不会丢）
如果是map任务并且执行完了，那么就要重置状态，要求重新执行。因为中间文件可能丢失了（map的中间文件存在worker本地）。
具体过程可以参考这张图：
MapReduce模型的容错性：map()/reduce()各个函数之间都是独立运行的，没有依赖。所以重新执行也会产生相同的输出。纯函数的这个需求是MR相对于其他并行编程方案的主要限制，然后也是因为这个需求使得MR非常简单。当出错时直接重新执行对应的函数和区块即可
每个区块尽可能的小（分成尽可能多的块），便于负载均衡、出错重启等
Ref: https://zou.cool/2018/11/27/mapreduce/