关于spark standalone模式下的executor问题

时间:2024-05-26 11:07:26

1、spark standalone模式下,worker与executor是一一对应的。

2、如果想要多个worker,那么需要修改spark-env的SPARK_WORKER_INSTANCES为2,那么开启集群后, 每个节点就是两个worker了,然后启动任务后,每个节点就是两个executor啦

3、提高每个executor配置(即内核和内存)后,会增加集群的处理性能。  嗯,反正测试的结果就是这样的。  (同样的数据量同样的结点,然后executor的配置不同)