hive job oom问题

    错误信息例如以下：Container [pid=26845,containerID=container_1419056923480_0212_02_000001] is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing container.

    分析：刚開始以为是内存不够，所以不断的调大虚拟内存，问题是攻克了。可是实际执行的时候还是会偶尔报这个错误。

    问题的解决办法在于：

set yarn.nodemanager.resource.memory-mb=2048;

set yarn.app.mapreduce.am.command-opts=-Xmx2048m;

    这两个參数配成了相等，而实际上第一个參数为节点能从yarn上获得的全部内存，第二个參数为其上执行的jvm内存。除了jvm之外还须要一些空间来让总体work起来。

当jvm占用内存太大的时候就有可能大于yarn.nodemanager.resource.memory-mb配置的临界点。被Container kill掉。推荐的比例是jvm为实际内存的0.8

    map和reduce的内存配置相同有这个问题。演示样例配置：

mapred-site.xml
set mapreduce.map.memory.mb=1024;
set mapreduce.map.java.opts=-Xmx819m;
set mapreduce.reduce.memory.mb=2048;
set mapreduce.reduce.java.opts=-Xmx1638m;

yarn-site.xml
set yarn.nodemanager.resource.memory-mb=2048;
set yarn.app.mapreduce.am.command-opts=-Xmx1638m;

这篇文章详细说明了问题的解决办法和推荐的配置

http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html?

textToSearch=queue#