Flink作业 taskmanager.numberOfTaskSlots 这个参数有哪几种设置方式

时间:2024-04-16 19:08:02

Flink作业 taskmanager.numberOfTaskSlots 这个参数有哪几种设置方式

taskmanager.numberOfTaskSlots 参数用于设置每个TaskManager上的任务槽(task slot)数量,决定了TaskManager可以并行执行的任务数量。这个参数可以通过多种方式进行设置。

  1. flink-conf.yaml文件:可以在Flink的配置文件 flink-conf.yaml 中直接设置 taskmanager.numberOfTaskSlots 参数的值。这样设置可以全局生效,适用于所有作业。

  2. 命令行参数:在提交Flink作业时,可以通过命令行参数 -Dtaskmanager.numberOfTaskSlots=<slots> 来动态设置任务槽数量。这种方式适用于 flink on k8s,可以覆盖配置文件中的设置,针对特定作业进行调整。 flink on yarn 可以通过命令行参数 -ys <slots>来设置任务槽数量。