graphX内存不够的解决方法

时间:2024-03-08 18:26:35

前段时间用graphX跑一个只有88M的小图,竟然给我报错说内存不够,我说怎么可能呢我可用内存可有2G呢

从网上东搞西搞一些解决方案,终于给我搞定了

其实原因是spark 的 java heap内存默认只给512M,有时候确实是不够用的,这时候只要改下{SPARK_HOME}/conf/spark-env.sh配置文件就行了

vim打开spark-env.sh

加入下面几句

export SPARK_DAEMON_JAVA_OPTS=-Xmx2048m
export SPARK_WORKER_MEMORY=-Xmx2048m
export SPARK_DAEMON_MEMORY=-Xmx2048m
export SPARK_REPL_OPTS=-XX:MaxPermSize=2048m 

 它们分别代表spark几个内存使用配置的最大值,不管那么多全部直接设为最大就好了,有兴趣的可以很快在网上搜到它们分别代表什么