文件名称：flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
文件大小：169KB
文件格式：ZIP
更新时间：2024-05-03 10:11:18
spark yarn k8s flink Java
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN，支持自动上传用户Jar包，依赖的Spark Jars需要提前上传到H
【文件预览】：
flink-spark-submiter-flink-1.12
----.gitignore(194B)
----derby.log(705B)
----README.md(11KB)
----pom.xml(700B)
----flink-yarn-submiter()
--------pom.xml(7KB)
--------src()
----spark-k8s-submiter()
--------pom.xml(3KB)
--------src()
----examples()
--------pom.xml(706B)
--------flink-sql-executor()
--------spark-sql-proxy()
--------flink-kafka-reader()
----common()
--------pom.xml(1KB)
--------src()
----spark-yarn-submiter()
--------pom.xml(4KB)
--------src()