Hive任务执行报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

报错内容如下 

com.cloudera.hiveserver2.support.exceptions.GeneralException: [Cloudera][HiveJDBCDriver](500051) ERROR processing query/statement. Error Code: 2, SQL state: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask, Query: select count(*) from (select msisdn, row_number() over (partition by msisdn) rn from (select msisdn from (select msisdn_a msisdn from db_der.zb_m_cbesim010 ...

这个错误是 map 内存不足导致的，在执行一些hivesql 的时候建议还是设置一些内存参数

set mapreduce.map.memory.mb=4096; --设置map内存
set yarn.scheduler.minimum-allocation-mb=4096; --设置yarn容器最小内存
set mapreduce.map.java.opts=-Xmx3600m; --如果有gc异常可以设置该参数

 

posted @   晓枫的春天  阅读(1039)  评论(0)  编辑  收藏  举报
相关博文：
· Hive 面试题——HiveSQL 执行顺序
· Hive 查看执行计划
· hive sql语句报错：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
· hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask[已解决]
· Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
阅读排行：
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· 一文读懂知识蒸馏
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
历史上的今天：
2020-10-12 Hadoop 学习笔记（八）HDFS 数据的读写
2020-10-12 Hadoop 学习笔记（七）HDFS 客户端操作（下）
点击右上角即可分享
微信分享提示