Flink集群搭建

时间:2024-07-20 12:46:02

(1)JAVA_HOME 配置
conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意
使用flink版本
下载最新版本后,将存档复制到您的主节点并解压缩它:
tar xzf flink-.tgz
cd flink-

(3)配置Flink
编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)
taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。
示例:
三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)
的设置,并显示了配置文件的内容
在这里插入图片描述
/path/to/flink/conf/flink-conf.yaml
jobmanager.rpc.address: 10.0.0.1
/path/to/flink/conf/workers
10.0.0.2
10.0.0.3

4.每台 slot 数量设置
每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数
parallelism.default

6.临时目录
io.tmp.dirs

(4)启动flink/停止flink
前提: 必须能够ssh所有节点(jobManager)
bin/start-cluster.sh
bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群
使用 bin/jobmanager.sh 或 bin/taskmanager.sh
添加jobmanager:
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all