2014年10月29日
hadoop Shuffle Error OOM错误分析和解决
摘要： 在执行Reduce Shuffle的过程中，偶尔会遇到Shuffle Error，但是重启任务之后，Shuffle Error会消失，当然这只是在某些特定情况下才会报出来的错误。虽然在每次执行很短的时间报出这个错误，但是如果单个Reducer的错误数量超出maxAttempt，就会导致整个... 阅读全文
posted @ 2014-10-29 11:26 clamaa 阅读(971) 评论(0) 推荐(0) 编辑