【Spark性能调优-配置进程参数】-配置Driver内存。

时间:2024-04-10 10:29:59

(1) Driver负责任务的调度,和Executor、AM之间的消息通信。当任务数变多,任务平行度增大时,Driver内存都需要相应增大。

(2) 可以根据实际任务数量的多少,为Driver设置一个合适的内存。
将“spark-defaults.conf”中的“spark.driver.memory”配置项设置为合适大小。
(3) 在使用spark-submit命令时,添加“–driver-memory MEM”参数设置内存。