hdfs数据块副本放置策略--1个在本机架的本节点,1个在本机架的另一个节点,1个在另一个机架的节点上

时间:2024-05-19 21:25:29

在大多数情况下,副本系数是3,HDFS的存放策略是将一个副本存放在本地机架的节点上,一个副本放在同一机架的另一个节点上,最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输,这就提高了写操作的效率。机架的错误远远比节点的错误少,所以这个策略不会影响到数据的可靠性和可用性。于此同时,因为数据块只放在两个(不是三个)不同的机架上,所以此策略减少了读取数据时需要的网络传输总带宽。在这种策略下,副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上,三分之二的副本在一个机架上,其他副本均匀分布在剩下的机架中,这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。

参考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html#%E6%95%B0%E6%8D%AE%E5%AE%8C%E6%95%B4%E6%80%A7

副本1和数据块在同一个节点上(当然在同一个机架上),副本2在同一机架的另一个节点上,副本三在另外的一个机架上。

hdfs数据块副本放置策略--1个在本机架的本节点,1个在本机架的另一个节点,1个在另一个机架的节点上