打赏

spark on yarn模式里需要有时手工释放linux内存

 

 

  为什么要提出这个问题?

spark跑YARN模式或Client模式提交任务不成功(application state: ACCEPTED)

 

 

 

   然后执行

[spark@master spark-1.6.1-bin-hadoop2.6]$ su root
Password: 
[root@master spark-1.6.1-bin-hadoop2.6]# echo 1 > /proc/sys/vm/drop_caches
[root@master spark-1.6.1-bin-hadoop2.6]# echo 2 > /proc/sys/vm/drop_caches
[root@master spark-1.6.1-bin-hadoop2.6]# echo 3 > /proc/sys/vm/drop_caches

 

 

 

 

 

 

 

参考

手工释放linux内存——/proc/sys/vm/drop_cache

http://www.linuxidc.com/Linux/2010-03/24939.htm

posted @ 2017-04-09 20:51  大数据和AI躺过的坑  阅读(2156)  评论(0编辑  收藏  举报