spark on yarn模式里需要有时手工释放linux内存

时间:2021-11-07 04:15:48

  为什么要提出这个问题?

spark跑YARN模式或Client模式提交任务不成功(application state: ACCEPTED)

spark on yarn模式里需要有时手工释放linux内存

  然后执行

[spark@master spark-1.6.-bin-hadoop2.]$ su root
Password:
[root@master spark-1.6.-bin-hadoop2.]# echo > /proc/sys/vm/drop_caches
[root@master spark-1.6.-bin-hadoop2.]# echo > /proc/sys/vm/drop_caches
[root@master spark-1.6.-bin-hadoop2.]# echo > /proc/sys/vm/drop_caches

参考

手工释放linux内存——/proc/sys/vm/drop_cache

http://www.linuxidc.com/Linux/2010-03/24939.htm