背景:
CDH集群中一个DataNode节点宕机后所有服务中断,其他节点正常运行并存储了大量新数据。
在恢复宕机节点后,重启其DataNode与JournalNode,之后CM报出JournalNode不同步的错误,如下图。
处理:
1、停止bigdata168上不同步的JournalNode服务(在CM上操作角色)
2、备份bigdata168服务器上JournalNode的数据目录
cp -r /dfs/jn opt/backup
3、删除bigdata168服务器上JournalNode的数据目录下以edits_inprogress_开头的所有文件,注意是edits_inprogress开头的。
4、重启bigdata168服务器上的JournalNode(在CM上操作角色),之后它会自动向正常节点同步数据。
等待一段时间,该JournalNode就会恢复。