文件名称：Hadoop分布式文件系统HDFS-Hadoop初探
文件大小：3.61MB
文件格式：PPT
更新时间：2024-05-12 13:29:53
Hadoop初探
1、Hadoop分布式文件系统HDFS HDFS被设计成适合运行在通用硬件上的分布式文件系统，而且HDFS 是一个具有高度容错性的系统，适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 一个 HDFS集群是由一NameNode和一定数目的 Datanodes组成，NameNode是一个中心服务器，负责管理文件系统的名字空间（Namespace）以及客户端对文件的访问。集群中的DataNode 一般是一个节点一个，负责管理它所在节点上的存储。HDFS 对外公开文件系统的名字空间，用户能够以文件的形式在上面存储数据。 HDFS 的工作流程及架构图 从内部看，一个文件其实被分成一个或多个数据块（Block），这些块存储在一组DataNode上。NameNode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录，它也负责确定数据块到具体DataNode 节点的映射。Datanode 负责处理文件系统客户端的读写请求，在NamenNode 的统一调度下进行数据块的创建、删除和复制。 六、Hadoop的HDFS和MapReduce