FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的一个解决办法
在hive命令中执行一条计算数据条数的sql,错误信息如下:
查看报错信息,可以注意到没有任务进度信息,因此做如下推测:
任务根本就没有提交到YARN,既然没有提交到YARN,那么问题就很有可能是出现在配置上,而且是yarn的MR相关配置。
为此,修改以下yarn配置(仅供参考):
mapreduce.map.memory.mb改为1G
mapred-site.xml 的 HDFS 复制高级配置代码段(安全阀)中的mapreduce.map.memory.mb和mapreduce.reduce.memory.mb也调整为1024M(1G)
限于环境原因无法获取yarn中的application日志,所以具体原因仍未知。
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决