守护进程:NameNode,DataNode,ResourceManager,NodeManager,JournalNode,DFSZKFailoverController等
备注:本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网(地址:https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html)(本人使用:hadoop2.7.3讲解,其他2.0版本大致类似,不同版本的官网地址:https://hadoop.apache.org/docs 进入请自行选择)
基于:https://blog.csdn.net/weixin_39435629/article/details/84841263
启动的hadoop的守护进程:
所属HDFS (Hadoop Distributed Filesystem):
一、NameNode 名称节点
、
作用:
1、管理DataNode,维护的所有的文件和目录,这些文件已命名空间镜像文件(images)和编辑日志文件(edits)永久保存在本地磁盘上。
2、记录每个文件所在的数据节点信息,但并不永久保存,系统启动时,这些节点信息会重建
二、DataNode 数据节点
作用:
1、存储并检索数据块,受客户端(client)或namenode调度
2、定期向namenode发送所存储的块的信息
三、ResourceManager 资源管理器
作用:
1、管理集群上资源(HDFS中存储的数据)的使用
四、NodeManager 节点管理器
作用:
1、运行在集群中所有节点上且能够启动和监控容器(container)
五、JournalNode
作用:
1、共享**名称节点(active)与待命名称节点(standby)之间的日志
eg:
六、DFSZKFailoverController(简称:ZKFC)
作用:(汇总:监控和管理NameNode)
1、健康监测------检测NameNode的状态
2、会话管理-----当本地NameNode是健康的,ZKFC在管理员中打开一个会话。如果本地NameNode是活动的,它还持有一个特殊的“锁”znode。此锁使ZooKeeper对这个节点的支持(及关于namenode的任何操作由该节点执行);如果会话过期,锁节点将被自动删除
3、基于zookeeper选择新的active节点--------当active节点出现问题时,基于zookeeper做节点之间的状态转换(active节点变为standby节点,standby节点**为active节点)
备注:本文中关于的HA配置的节点,仅仅基于HDFS的HA配置,MR的HA配置类似,可进入官网自行查看