一、问题描述
CDH新集群搭建过程中,出现YARN启动异常、HBase启动异常、Spark启动异常的情况。
二、问题分析
经查看日志,分别如下三个图所示。
三、问题解决
CDH的问题,基本是日志描述了什么问题,你就解决什么问题。日志这里描述的是角色权限不足,只需要使用指定用户给文件夹赋予相应的权限:
#解决hdfs用户根目录权限不足问题
export HADOOP_USER_NAME=hdfs
hdfs dfs -chmod 777 /
- 1
- 2
- 3
#解决mapred用户/user目录权限不足问题
export HADOOP_USER_NAME=mapred
hdfs dfs -chmod 777 /user
- 1
- 2
- 3
#解决Spark目录不存在的问题
export HADOOP_USER_NAME=hdfs
hdfs dfs -mkdir /user/spark
hdfs dfs -mkdir /user/spark/applicationHistory
hdfs dfs -chown -R spark:spark /user/spark/applicationHistory
hdfs dfs -chmod 777 /user/spark/applicationHistory
- 1
- 2
- 3
- 4
- 5
- 6