hadoop高可用,多次格式化namenode节点后出现的一系列错误(仅自己可用,勿喷)

时间:2024-04-06 17:04:38

第一个问题:启动namenode后秒挂

原因:元数据不统一
在自己core-site.xml中配置的路径里找到:
hadoop高可用,多次格式化namenode节点后出现的一系列错误(仅自己可用,勿喷)
我的在node01(这是namenode)中的 /var/sxt/hadoop/ha/dfs/name/current的VERSION中查看
hadoop高可用,多次格式化namenode节点后出现的一系列错误(仅自己可用,勿喷)以及在node02中(这里是datanode)中的/var/sxt/hadoop/ha/dfs/data/current的VERSION中查看
hadoop高可用,多次格式化namenode节点后出现的一系列错误(仅自己可用,勿喷)看上面两张截图中的clusterID是一模一样的,当格式化namenode的时候,你里面的clusterID会更新,而其他节点的不会更新,这就造成了元数据不统一。
解决方案1
(这个方法我是在网上看的,但是我自己实验了并没有成功)
复制NameNode中的clusterId,修改DataNode中的ClusterId为
NameNode的clusterId,然后重启进程。
解决方案2:
(我就是按这个方法解决的)
停止所有进程,删除所有节点下的 /var/sxt/hadoop/ha/dfs下的所有文件,然后启动zookeeper和journalnode后,再来格式化namenode,然后hdfs namenode -bootstrapStandby,ok到此就回启动成功。

当然我也遇到了其他问题:
按照以上方法格式化后又出现了其他问题:

hadoop高可用,多次格式化namenode节点后出现的一系列错误(仅自己可用,勿喷)那就按照异常给出的路径,找到mycluster后删除路径下所有为文件。只要报错是哪个节点,就删除哪个节点。

最后,重启成功!!!