1、问题背景
操作系统：CentOS7 64位
Hadoop版本：Hadoop2.7.3
JDK：1.8.0_65
2、问题描述
使用脚本或者先后执行、脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
3、问题原因
通过查看DataNode节点日志，报Incompatible clusterIDs异常。（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的logs文件夹里，当然可以修改文件中的HADOOP_LOG_DIR，比如加入export HADOOP_LOG_DIR=/var/log/hadoop）。DataNode节点日志文件异常信息如下：
/**************************************************/
2016-09-26 16:38:56,122 WARN : Failed to add storage directory [DISK]file:/tmp/hadoop-hadoop/dfs/data/
: Incompatible clusterIDs in /tmp/hadoop-hadoop/dfs/data: namenode clusterID = CID-1ac4e49a-ff06-4a34-bfa2-4e9d7248855b; datanode clusterID = CID-3ae02e74-742f-4915-92e7-0625fa8afcc5
at (:775)
at (:300)
at (:416)
at (:395)
at (:573)
at (:1362)
at (:1327)
at (:317)
at (:223)
at (:802)
at (:745)
2016-09-26 16:38:56,124 FATAL : Initialization failed for Block pool (Datanode Uuid unassigned) service to s0/192.168.48.134:8020. Exiting.
: All specified directories are failed to load.
at (:574)
at (:1362)
at (:1327)
at (:317)
at (:223)
at (:802)
at (:745)
2016-09-26 16:38:56,124 WARN : Ending block pool service for: Block pool (Datanode Uuid unassigned) service to s0/192.168.48.134:8020
2016-09-26 16:38:56,226 INFO : Removed Block pool (Datanode Uuid unassigned)
2016-09-26 16:38:58,227 WARN : Exiting Datanode
2016-09-26 16:38:58,228 INFO : Exiting with status 0
2016-09-26 16:38:58,232 INFO : SHUTDOWN_MSG:
/**************************************************/
日志文件分析如下：
首先日志警告，“Failed to add storage directory [DISK]file:/tmp/hadoop-hadoop/dfs/data/
”添加存储文件失败，失败路劲位于“/tmp/hadoop-hadoop/dfs/data/”。紧接着报Java IO异常“”，异常信息里显示的是，namenode和datanode的clusterID不一致，这些异常就导致了后面提示初始化失败、DataNode进程退出等异常、警告信息。网上很多其他博主说，这是因为多次对namenode进行format导致的。将namenode和datanode的clusterID和namespaceID修改一致即可。的确，进行了两次format操作，但是修改过后仍然报同样的问题，通过对比”/tmp/hadoop-hadoop/dfs/data/current/VERSION”文件发现VERSION文件里clusterID都是一致的，其他的信息也一致。
4、解决方案
由于无法通过直接修改VERSION文件里clusterID、namespaceID解决问题。于是尝试重命名了一下各个数据节点DataNode“/tmp/hadoop-hadoop/dfs/data/”目录下current文件夹，再重新启动hadoop，发现hadoop运行起来了。各个数据节点的DataNode、NodeManager等进程信息正常，查看各个节点的日志，一切显示正常。然后查看了一下“/tmp/hadoop-hadoop/dfs/data/”目录，发现自动创建了一个current目录。
5、总结
该问题因为多次对namenode进行format，每一次format主节点NameNode产生新的clusterID、namespaceID，于是导致主节点的clusterID、namespaceID与各个子节点DataNode不一致。当format过后再启动hadoop，hadoop尝试创建新的current目录，但是由于已存在current目录，导致创建失败，最终引起DataNode节点的DataNode进程启动失败，从而引起hadoop集群完全启动失败。因此可以通过直接删除数据节点DataNode的current文件夹，进行解决该问题。