spark Caused by: : Java heap space 问题

时间:2025-05-14 09:02:39

转载:

/qq_28743951/article/details/79103362

问题描述:

在使用spark过程中,有时会因为数据增大,而出现下面两种错误:

1、: Java heap space
2、:GC overhead limit exceeded

问题分析:

原因一:executor内存不够 
原因二:driver内存不够

解决方法

方法一

在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小,--executor-memory memSize指定executor的内存大小,可以通过spark-submit --help查看其他可以设置的参数。

方法二

在spark_home/conf/目录中,将模板文件拷贝一份到/spark_home/conf目录下,命名为,然后在里面设置 memSize属性来改变driver内存大小,设置 memSize属性来改变executor内存大小。