转载:
/qq_28743951/article/details/79103362
问题描述:
在使用spark过程中,有时会因为数据增大,而出现下面两种错误:
1、: Java heap space
2、:GC overhead limit exceeded
问题分析:
原因一:executor内存不够
原因二:driver内存不够
解决方法
方法一
在spark-submit中指定 --driver-memory memSize参数来设定driver的jvm内存大小,--executor-memory memSize指定executor的内存大小,可以通过spark-submit --help查看其他可以设置的参数。
方法二
在spark_home/conf/目录中,将模板文件拷贝一份到/spark_home/conf目录下,命名为,然后在里面设置 memSize属性来改变driver内存大小,设置 memSize属性来改变executor内存大小。