在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker,这是为什么呢?
今天在黄宜华《深入理解大数据》一书中找到了答案:96页
原因:
为了实现Hadoop系统设计中 本地化计算 的原则,数据存储节点DataNode与计算节点TaskTracker将合并设置,让每个从节点同时运行作为DataNode和TaskTracker,以此让每个TaskTracker尽量处理存储在本地DataNode上的数据。
在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker,这是为什么呢?
今天在黄宜华《深入理解大数据》一书中找到了答案:96页
原因:
为了实现Hadoop系统设计中 本地化计算 的原则,数据存储节点DataNode与计算节点TaskTracker将合并设置,让每个从节点同时运行作为DataNode和TaskTracker,以此让每个TaskTracker尽量处理存储在本地DataNode上的数据。