Hadoop学习笔记（5）————Mapreduce工作原理
一个MapReduce作业在hadoop上运行的整个过程可以分为4个实体：
（1）、客户端，提交MapReduce作业；
在客户端上使用runJob()方法来新建JobClient实例和调用它的submitJob()方法。提交作业后，runJob将每秒轮询作业的进度，如果发现与上一个记录不同，便把报告显示到控制台。作业完成后，如果成功，就显示作业计数器。否则，当之作业失败的错误会被记录到控制台。
JobClient的sunbmitJob()方法所实现的作业提交过程：
1、 向jobtracker请求一个新的作业ID（通过调用JobTracker的getNewJobId()）；
2、 检查作业的输出说明。比如，如果没有指定输出目录或者它已经存在，作业就不会被提交，并将错误放回给MapReduce程序；
3、 计算作业的输入划分。如果划分无法计算，比如因为输入路径不存在，作业就不会被提交，并有错误返回给MapReduce程序；
4、 将运行作业所需要的资源————包括作业JAR文件、配置文件和计算所得的输入划分————复制到一个以作业ID号命名的目录中jobtracker的文件系统。作业JAR的副本较多，如此以来，在tasktracker运行作业任务时，集群能为它们提供许多副本进行访问。
（2）、jobtracker协助作业的运行；
作业的初始化：
JobTracker接收到对submitJob()方法的调用后，会把此调用放入一个内部的队列中，交由作业调度器进行调度，并对其进行初始化。初始化包括创建一个代表该正在运行的作业的对象，它封装任务和记录信息，以便跟踪任务的状态和进程；
要创建运行任务列表，作业调度器首先从共享文件系统中获取JobClient己计算好的输入划分信息。然后为每个划分创建一个map任务。创建的reduce任务的数量由JobConf的mapred.reduce.tasks属性决定，它用serNumReduceTasks()方法来设置的，然后调度器便创建那么多reduce任务来运行。
任务分配：
TaskTracker执行一个简单的循环，定期发送心跳(heartbeat)方法调用Jobtracker。心跳方法告诉jobtracker，tasktracker是否还存活，同时也充当两者之间的消息通道。作为心跳方法调用的一部份，tasktracker会指明它是否已经准备运行新的任务，如果是，jobtracker会为它分配一个任务，并使用心跳方法的返回值与tasktracker进行通信；
（3）、tasktracker运行作业划分后的任务；
通过tasktracker本地化作业的JAR文件，将它从共享文件系统复制到tasktracker所在的文件系统。同时将应用程序所需要的全部文件从分布式缓存复制到本地磁盘；
为任务新建一个本地工作目录，并把JAR文件中的内容压缩到这个文件夹下；
新建一个TaskRunner实例来运行任务；
（4）、在以上所有过程的操作中，分布式文件系统（HDFS）被用来实现他们的作业文件的共享。
一个MapReduce作业失败有很多原因：
任务失败：1、子任务失败：map或reduce任务中的用户代码抛出运行异常，子任务JVM进程会在退出之前向其tasktracker父进程发送错误报告。错误报告最后被记入用户日志。tasktracker会将此次任务尝试标记为failed，释放一个槽以便运行另外一个任务；2、JVM突然退出：可能是JVM错误，由MapReduce用户代码某些特殊原因而造成JVM退出。3、任务的挂起：tasktracker注意到自己已经有一段时间没有收到进度更新，因此进而将任务标记为failed。在此之后子JVM进程将被自动杀死。
jobtracker失败
MapReduce的作业调度 FIFO算法（first In First Out）,即所有的用户作业都被提交到一个队列中，然后由JobTracker按照作业的优先级（比如提交时间的先后顺序）选择将被执行的作业。该算法的具体实现是JobQueueTaskScheduler。具体而言，当一个tasktracker工作的游刃有余，期待获得新的任务的时候，JobQueueTaskScheduler会按照各个作业的优先级，从最高优先级的作业开始分配任务，选择任务的基本次序是：
Map任务服务器的清理任务，用于清理相关的过期的文件和环境；
Map任务服务器的安装任务，负责配置好相关的环境；
Map Tasks
Reduce Clean Up Task
Reduce Setup Task
Reduce Tasks