一、 问题现象 查看yarn 日志确认是在 shuffle 阶段 发生了异常 二、 初步分析 MR 流程总览 从异常栈来看，发生了shuffle的OOM，在shuffle阶段，会将map的output数据给取下来，然后根据相关参数值确认昂前shuffle可使用内存，决定是放进内存中，还是存储到磁盘里 Read More
一、 问题现象 生产环境开启默认压缩后，Hive任务在触发MapJoin优化时会偶发OOM，如下图 二、 初步分析 从报错日志上面可以明显看出，maplocaltask 总共的分配内存2092433408处理行数：200000 哈希表大小：199999 内存使用量：1089164624 比例：0.5 Read More