Spark master节点HA配置
1、介绍
Spark HA配置需要借助于Zookeeper实现,因此需要先搭建ZooKeeper集群。
2、配置
2.1 修改所有节点的spark-evn.sh文件
在spark-env.sh文件添加如下环境变量:
#需要将该条目注释掉
#export SPARK_MASTER_IP=master1
#导入
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s102:2181,s103:2181,s104:2181 -Dspark.deploy.zookeeper.dir=/spark"
2.2通过--master参数,指定多个master节点
$>spark-shell --master spark://s101:7077,s102:7077
2.3 查看各节点的webui
http://s101:8080
http://s102:8080