Hadoop分布式文件系统HDFS-Hadoop初探

时间:2021-04-22 19:43:13
【文件属性】:
文件名称:Hadoop分布式文件系统HDFS-Hadoop初探
文件大小:3.61MB
文件格式:PPT
更新时间:2021-04-22 19:43:13
Hadoop初探 1、Hadoop分布式文件系统HDFS HDFS被设计成适合运行在通用硬件上的分布式文件系统,而且HDFS 是一个具有高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 一个 HDFS集群是由一NameNode和一定数目的 Datanodes组成,NameNode是一个中心服务器,负责管理文件系统的名字空间(Namespace)以及客户端对文件的访问。集群中的DataNode 一般是一个节点一个,负责管理它所在节点上的存储。HDFS 对外公开文件系统的名字空间,用户能够以文件的形式在上面存储数据。 HDFS 的工作流程及架构图 从内部看,一个文件其实被分成一个或多个数据块(Block),这些块存储在一组DataNode上。NameNode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录,它也负责确定数据块到具体DataNode 节点的映射。Datanode 负责处理文件系统客户端的读写请求,在NamenNode 的统一调度下进行数据块的创建、删除和复制。 六、Hadoop的HDFS和MapReduce

网友评论