is running 236038656B beyond the 'VIRTUAL' memory limit. Current usage: 52.4 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used.

[2022-03-18 18:26:57.187]Container [pid=92959,containerID=container_1647598528227_0003_01_000002]
is running 236038656B beyond the 'VIRTUAL' memory limit. Current usage: 52.4 MB of 1 GB physical
memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.

 

输入下列代码时报以上错误

hadoop jar wc.jar com.ltj.wordcount.WordCount -Dmapreduce.job.queuename=default /input /output

 

问题原因是container在申请多余的内存时,被resouremanager杀掉了
此处可修改hadoop/etc/mapred-site.xml
添加配置信息

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>1536</value>
</property>
<property>
  <name>mapreduce.map.java.opts</name>
  <value>-Xmx1024M</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>3072</value>
</property>
<property>
  <name>mapreduce.reduce.java.opts</name>
  <value>-Xmx2560M</value>
</property>

然后重启hadoop
重新提交任务

找了一天-----555终于解决了

 

posted @   Eveeee  阅读(349)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示