flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群

时间:2021-04-13 16:24:38
【文件属性】:
文件名称:flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
文件大小:169KB
文件格式:ZIP
更新时间:2021-04-13 16:24:38
spark yarn k8s flink Java Flink任务、Spark任务提交到集群,通常需要将可执行Jar上传到集群,手动执行任务提交指令,如果有配套的大数据平台则需要上传Jar,由调度系统进行任务提交。 对开发者来说,本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化,任务在本地调试通过后,执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此,为方便大数据开发人员进行快速开发调试,开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成,替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN,支持自动上传用户Jar包,依赖的Spark Jars需要提前上传到H
【文件预览】:
flink-spark-submiter-flink-1.12
----.gitignore(194B)
----derby.log(705B)
----README.md(11KB)
----pom.xml(700B)
----flink-yarn-submiter()
--------pom.xml(7KB)
--------src()
----spark-k8s-submiter()
--------pom.xml(3KB)
--------src()
----examples()
--------pom.xml(706B)
--------flink-sql-executor()
--------spark-sql-proxy()
--------flink-kafka-reader()
----common()
--------pom.xml(1KB)
--------src()
----spark-yarn-submiter()
--------pom.xml(4KB)
--------src()

网友评论