./spark/conf/spark-env.sh 文件中需要显式地设置一些环境变量,不用系统默认值。亲测,ubuntu16.04系统,spark-env.sh中手动配置
export JAVA_HOME=<>/jdk1.8
export SCALA_HOME=<>/scala
export HADOOP_HOME=<>/hadoop
export HADOOP_CONF_DIR=<>/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.60.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_HOST=192.168.60.1
export SPARK_LOCAL_IP=192.168.60.1
export SPARK_EXECUTOR_MEMORY=1024m
把以上变量配置完整且正确,spark集群就能正确运行。
保存,再重新启动spark,问题解决