Spark master节点HA配置

时间:2021-11-04 16:39:59

Spark master节点HA配置

1、介绍

Spark HA配置需要借助于Zookeeper实现,因此需要先搭建ZooKeeper集群。

2、配置

2.1 修改所有节点的spark-evn.sh文件

在spark-env.sh文件添加如下环境变量:

#需要将该条目注释掉
#export SPARK_MASTER_IP=master1 

#导入
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=s102:2181,s103:2181,s104:2181 -Dspark.deploy.zookeeper.dir=/spark"  

2.2通过--master参数,指定多个master节点

$>spark-shell --master spark://s101:7077,s102:7077

2.3 查看各节点的webui

http://s101:8080
http://s102:8080