hadoop学习笔记肆--元数据管理机制

时间:2022-12-30 07:20:04

1、首先,认识几个名词

    (1)、NameNode中读、写、以及DataNode映射等信息叫做“元数据” ,NameNode元数据存放位置有、内存、fsimage、edits log三个位置。

    (2)、edits log:记录当前最新的元数据。

       (3)、元数据内存:实际在用的元数据。

    (4)、fsimage:元数据内存实体文件,fsimage与NameNode内容是是一样的(最全元数据)

          当edits log文件大小达到阈值,会将edits log元数据写入到fsimage文件,并清除edits log中的元数据。

2、NameNode管理元数据方式

    (1)、客户端上传文件时NameNode首先会向edits log文件中记录元数据信息。

    (2)、客户端上传文件,完成后返回成功信息到NameNode,NameNode将本次上传操作产生新的元数据信息写入到内存中。

    (3)、每当editslog文件写满时,SecondeNameNode会将editslog中的元数据同步合并到fsimage中,且清空editslog

    (4)、同步数据(checkpiont)触发方式:fs.checkpoint.period  指定两次checkpoit的最大时间间隔,默认为3600秒

                       :fs.checkpoint.size    规定ediits文件最大值,一旦超过这个值则强制checkpoint,不管是否到最大时间间隔,默认为64M

3、SecondeNameNode对editslog、fsimage文件同步合并方式

    (1)、当editslog文件写满时,NameNode向SecondeNameNode发出请求,通知SecondeNameNode进行文件editslog与fsimage合并。

    (2)、SecondeNameNode做出响应,并通知NameNode创建新文件edits.new,且向edits.new文件写入元数据

    (3)、SecondeNameNode下载editslog、fsimage文件到SecondeNameNode主机

    (4)、SecondeNameNode将下载editslog、fsimage文件做同步合并合并文件为:fsimage.chkpoint

    (5)、将合并文件fsimage.chepoint上传到NameNode中fsimage同目录

    (6)、重命名fsimage.chepoint文件为fsimage

    (7)、重命名edits.new为edits

hadoop学习笔记肆--元数据管理机制

4、nameNode 元数据存储格式

    nameNode(FileName、replicas、block-ids、id2host。。。)

    名词解释:FileName:文件名称

         replicas:副本个数

           block-ids:blockid

         后面是文件在dataNode位置

    列:/home/test.log,3,{blk_1,blk_2},[{blk_1:[h0,h1,h2]},{blk_2:[h0,h1,h2]}]

                      不得不说,为了保证元数据的完整性,可靠性hadoop开发者没少下功夫