2018年9月20日
hadoop的job执行在yarn中内存分配调节————Container [pid=108284,containerID=container_e19_1533108188813_12125_01_000002] is running beyond virtual memory limits. Current usage: 653.1 MB of 2 GB physical memory used
摘要： 实际遇到的真实问题,解决方法: 1.调整虚拟内存率yarn.nodemanager.vmem-pmem-ratio (这个hadoop默认是2.1) 2.调整map与reduce的在AM中的大小大于yarn里RM可分配的最小值yarn.scheduler.minimum-allocation-mb 阅读全文
posted @ 2018-09-20 16:02 新际航 阅读(6193) 评论(2) 推荐(1) 编辑
oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143
摘要： 使用oozie来调度操作，用shell的action执行命令，其中shell里包含着hive -e 操作执行时，oozie窗口报 这个异常，对应的在yarn的history里找到上面给出的job_id > job_1533108188813_12125 对应的日志，如下图 图中给出launch时候内 阅读全文
posted @ 2018-09-20 11:39 新际航 阅读(2727) 评论(1) 推荐(0) 编辑