Hadoop之客户端读取HDFS中的数据

时间:2022-05-25 08:30:53
客户端通过调用FileSystem对象的open()方法来打开希望读取的文件

DistributedFileSystem使用RPC调用namenode,确定文件起始块位置。对于文件的每个块,namenode返回该块副本的datanode的地址,这些datanode根据与客户端的距离排序,如果客户端本身就是一个datanode,并且保存有副本时,则从本地datanode中读取数据。

客户端使用DistributedFileSystem返回的FSDataInputStream流对象读取数据,客户端调用read方法,将数据从datanode传输到客户端,完成后寻找下一个块的最佳datanode。

一旦客户端完成读取,FSDataInputStream调用close方法。

注:如果流于datanode通信出现错误,他会尝试从这个块的另一个最近的datanode读取数据。

重点:数据流分散在集群中所有datanode,namenode告知客户端每个块最佳datanode。由客户端直接从该datanode读取数据。所以这种设计能够HDFS可扩展到大量并发客户端

2015年10月27日凌晨

Hadoop之客户端读取HDFS中的数据