is running 236038656B beyond the 'VIRTUAL' memory limit. Current usage: 52.4 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used.
[2022-03-18 18:26:57.187]Container [pid=92959,containerID=container_1647598528227_0003_01_000002] is running 236038656B beyond the 'VIRTUAL' memory limit. Current usage: 52.4 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
输入下列代码时报以上错误
hadoop jar wc.jar com.ltj.wordcount.WordCount -Dmapreduce.job.queuename=default /input /output
问题原因是container在申请多余的内存时,被resouremanager杀掉了
此处可修改hadoop/etc/mapred-site.xml
添加配置信息
<property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property> <property> <name>mapreduce.map.java.opts</name> <value>-Xmx1024M</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>3072</value> </property> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx2560M</value> </property>
然后重启hadoop
重新提交任务
找了一天-----555终于解决了
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通