Flink HA高可用集群搭建(Standalone Cluster)
1.根据集群中hadoop的版本和scala的版本对应下载Flink,该文章下载的是Flink1.7.2版本。
下载地址 https://flink.apache.org/downloads.html
2.安装解压Flink到/home/kfs目录下(Master举例)
tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.12.tgz -C /home/kfs/
3.来到flink的conf目录下
cd
ls
cd flink-1.7.2/conf/
ls
4.修改masters文件(masters文件对应着主节点,其中为了ha高可用性,使用两台机器做主备因为安装了spark,如果端口为8081可以能会有冲突,所以改为8082)
vi masters
Master:8082
Slave1:8082
5.修改slaves文件(slaves文件对应着从节点)
vi slaves
Slave1
Slave2
Slave3
Slave4
Slave5
6.修改flink-conf.yaml文件(使用的是zookeeper方式管理集群,并配置zookeeper地址,设置集群的名称,和保存的位点)
vi flink-conf.yaml
high-availability: zookeeper
high-availability.zookeeper.quorum: Slave1:2181,Slave2:2181,Slave3:2181,Slave4:2181,Slave5:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /default_one
high-availability.zookeeper.storageDir: hdfs:///flink/recovery
7.修改zoo.cfg文件(对应zookeeper中的ip和地址)
vi zoo.cfg
server.1=Slave1:2888:3888
server.2=Slave2:2888:3888
server.3=Slave3:2888:3888
server.4=Slave4:2888:3888
server.5=Slave5:2888:3888
8.来到root用户修改环境变量
su root
vi /etc/profile
export FLINK_HOME=/home/kfs/flink-1.7.2
:$FLINK_HOME/bin
source /etc/profile
9.回到kfs用户将flink拷贝到其它的节点
exit
cd
scp -r flink-1.7.2/ slave1:/home/kfs/flink-1.7.2/
scp -r flink-1.7.2/ slave2:/home/kfs/flink-1.7.2/
scp -r flink-1.7.2/ slave3:/home/kfs/flink-1.7.2/
scp -r flink-1.7.2/ slave4:/home/kfs/flink-1.7.2/
scp -r flink-1.7.2/ slave5:/home/kfs/flink-1.7.2/
10.启动flink集群
cd flink-1.7.2/
./bin/start-cluster.sh
11.访问网页查看
master:8082
Flink高可用集群就搭建好了