Hive Map 端OOM 异常
怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM
Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,
进一步导致了OOM,需要剔除这些记录,可以通过length来限制。
PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。
怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM
Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,
进一步导致了OOM,需要剔除这些记录,可以通过length来限制。
PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步