HDFS 简介

时间:2021-09-21 20:27:06

hadoop分别从3个角度将主机划分为2种角色

  最基本的是Master 和

  从HDFS角度,将主机划分为namenode和datanode,在分布式文件系统中,目录管理很重要,管理目录相当于主人

  从mapreduce角度,划分为jobtracker和tasktracker(一个job常被划分为多个task)

HDFS是典型的主从架构,namenode是整个文件系统的管理节点,维护

  1、HDFS文件系统中的文件目录树,以及文件的数据块索引,即每个文件对应的数据块列表

  2、数据块和数据节点的对应关系,即某一个数据块保存在哪些数据节点

第一个关系即目录树,元数据和数据块的索引信息。第二个关系在namenode启动后,datanode会主动上报它所存储的数据块,动态创建对应关系

namenode管理着datanode,通过接收datanode的注册,心跳,数据块提交等信息上报,并且在心跳中发送数据块复制,删除,恢复等指令

datanode提供真实文件数据的存储服务,它数据块的方式在本地的linux文件系统上保存了HDFS文件的内容,并且对外提供文件数据访问功能,客户端在读写文件时,必须通过namenode提供的信息,进一步和datanode交互,同时datanode还必须接受namenode的管理,执行namenode指令,并且上报namenode感兴趣的事件,以保持文件系统稳定可靠