恶心的hadoop集群

时间:2021-01-17 18:41:37

具体配置:网上一堆,我说一下我的问题好了!

“完全” 分布式集群

注意地方有三点:

1.你的"master" dfs目录中的某个Id不一致,具体位置,有空我再找找。(经过我找了一下,忘了哪篇文章说过

跟${HADOOP_TMP}/dfs/name/current的VERSION有关,

我查看了一下,正常的集群

master的VERSION恶心的hadoop集群

cluster1的VERSION恶心的hadoop集群

cluster2的VERSION恶心的hadoop集群

对比一下后,发现只有clusterID是一样的。

我在dfs还在启动状态,再执行bin/hdfs namenode -format,发现

恶心的hadoop集群

clusterID发生变化了,而集群下面的cluster的clusterID没有变化。

所以要更改nameNode的clusterID的话,记得要重启dfs,不然你自己玩泥巴。

(为什么不一致,这得问你了,你“bin/hdfs namenode -format” 格式化时,看到是否覆盖.

Re-format filesystem in Storage Directory /tmp/hadoop-root/dfs/name ? (Y or N)

这样的字样,你又傻傻的敲了:Y,那ID就自然变化了。

)

我简单又粗暴的方法的,直接删掉hadoop中的数据。(反正我自己玩而已)

如果你的core-site.xml和hdfs-site.xml,没有配置数据目录路径的话,

数据都在/tmp/hadoop-root底下,自己看着办!

(如果要删的话,最好把连同的cluster“集群数据”一起删除,不然在http://master-node:50070/dfshealth.html#tab-datanode是无法看到集群的cluster的datanode)

然后,

再./sbin/start-dfs.sh   ,如果能顺利启动的话,就在master,cluster分别 查看hdfs的的目录

bin/hdfs dfs -ls /   (如果都没有问题的话。再去看http://master-node:50070/dfshealth.html#tab-datanode是无法看到集群的cluster的datanode)

2./etc/hosts

假如配置错了

会出现

 ls: Call From slaver1/127.0.0.1 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; 
For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused     
类似的这样的错。
 
引用:http://blog.csdn.net/wqetfg/article/details/50715541
 
去除其hosts上的
localhost和

#127.0.0.1 master-node
#::1 master-node

类似的。

    特别注意你的master的hosts最好与你cluster一样!

其实看 格式化时的日志,都能知道集群子节点是否成功

bin/hdfs namenode -format

看这句SHUTDOWN_MSG: Shutting down NameNode at "你的masterIP"

3.你的虚拟机问题。如果你的cluster是clone “master的”,也许能集群起来的。

但是如果你的cluster是clone “cluster”,不知道你能否启动,反正我是集群不了的。(因为我有一个是clone “master” ,另一个是clone "cluster",也不知道是否clone操作出问题,反正我的clone "cluster"死活集群不到,一气之下,删了clone "cluster",重新clone “master”, 然后,“就可以”)

至于网上的很多篇拼命让你“格式化namenode”的文章,只能说一句:我操。

(其实我是因为在看哪里都没有log相关信息,才搜索"hadoop2x Call From",然而

才看http://blog.csdn.net/wqetfg/article/details/50715541,才能解决