Flink on yarn的配置及执行

时间:2023-03-10 04:27:39
Flink on yarn的配置及执行

1. 写在前面

Flink被誉为第四代大数据计算引擎组件,即可以用作基于离线分布式计算,也可以应用于实时计算。Flink可以自己搭建集群模式已提供为庞大数据的计算。但在实际应用中。都是计算hdfs上的数据文件,所以更多的建立在基于hadoop集群,而hadoop集群的资源调度组件为yarn,所以Flink on yarn本身就是提供了集群模式,将flink计算的资源调度和管理交给yarn,这里详细介绍flink on yarn的配置(默认hadoop几圈是配置没有问题的)

2. 配置yarn-site.xml

Flink on yarn的配置及执行

这里的配置主要是配置执行的资源信息

3. 配置flink-conf.ymal

Flink on yarn的配置及执行

Flink on yarn的配置及执行

注意:最后两行的配置至关重要,如果不配会导致执行的结果没问题,但当flink提交执行结果报错从而导致整个任务进程都在影响下个任务的执行,其他配置都是配置flink的一些基本资源信息

4. 执行flink任务

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /wordspace/meijs/yndata-1.0.jar 20180318 15

该命令指定了nodemanager的个数,jobmanager的内存信息和taskmanager的内存信息

Flink on yarn的配置及执行

当执行任务出现以下信息证明成功,并可以在yarn管理页面上看到任务的执行状态