防火墙之类网络问题排除,网上解决方案也没有可以生效的。
最终决定格式化namenode和datanode。
格式化命令:
cd /usr/hdp/2.6.2.0-205/hadoop-hdfs/hdfs/
bin/hdfs namenode -format
可能会格式化失败,由于文件权限问题
mkdir -p /var/log/hadoop/hdfs/
chown -R hdfs:hadoop /data/hadoop/hdfs/namenode
此时namenode可以重启但是datanode启动失败。
重启服务失败,查看日志/data/log/hadoop/hdfs/hadoop-hdfs-datanode-xxx.log :
由于格式化namenode后,namenode Version文件中对应的ClusterID与datanode Version文件对应的ClusterID不同。
修改记录Datanode文件
修改namenode对应Version文件
两文件cluserID相同即可重启服务。
这样能让hdfs重启成功,但是datanode中数据丢失,与之相关hbase hive等也会丢失数据。