[YARN] 2.2 GB of 2.1 GB virtual memory used. Killing container.
Spark程序在yarn的集群运行,出现 Current usage: 105.9 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing Container. 错误。
我的运行环境是虚拟机,每个虚拟机分配1G的物理内存。但是这个错误跟物理内存无关,是虚拟内存超了。
解决方法:
在etc/Hadoop/yarn-site.xml文件中,修改检查虚拟内存的属性为false,如下:
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>
作者:火星十一郎
本文版权归作者火星十一郎所有,欢迎转载和商用,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.