hadoop初识之八:NameNode 启动过程和secondaryNameNode 作用

时间:2022-03-19 04:30:42
--=========NameNode启动过程====================
NameNode数据存放在
   =》内存
   =》本地磁盘
       * fsimage:镜像文件(格式化HDFS时生成)
  * edits:编辑日志文件,存储元数据的变化信息
过程1:第一次启动HDFS
   =>format HDFS
   =>生成fsimage
   =>start NameNode:read fsimage
   =>start DataNode:注册,发送Block report
   =>create dir到HDFS :写到edits中
   =>put files 到HDFS:  写到edits中 HDFS的源数据会发生变化
   =>delete files 删除              写到edits中 
过程2:第一次启动HDFS
   =>NameNode
      * read fsimage
 * read edits
 * 生成新的fsimage(前两个文件加载到内存,合并前两个文件)
 * 生成新的edits(空的)
   =>start DataNode:
      * 注册
 * 发送Block report
   =>create dir到HDFS :写到edits中
   =>put files 到HDFS:  写到edits中 HDFS的源数据会发生变化
   =>delete files 删除              写到edits中 
--=========SecondaryNameNode启动过程====================   
辅助Namenode
   =》本地磁盘
       * fsimage:镜像文件(格式化HDFS时生成)
  * edits:编辑日志文件,存储元数据的变化信息
  * 定期合并生成新的fsimage,并把新的复制到NameNode
--=========NameNode启动过程:安全模式safemode====================
   =>作用范围
      start DataNode:
        * 注册
   * 发送Block report
   =>作用
      * 等待DatasNodes 向它发送Block report
 * 当datanodes blocks/total blocks=99.999% 此时安全模式才会退出
   =》操作
      * 查看文件系统的文件
 * 不能改变文件系统的命名空间(创建文件夹,上传文件,删除文件)
   =>手动进入安全模式
      bin/hdfs dfsadmin -safemode enter/get/leave