MR Combiner

在Mapper和Reducer之间有一个非常重要的组件Combiner。每一个map都可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少在map和reduce节点之间的数据传输量,以提高网络IO性能,是MapReduce的一种优化手段之一

  • Combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代

  • Combiner还有本地reduce功能(其本质上就是一个reduce)

  • 与mapper和reducer不同的是,combiner没有默认的实现,需要显式的设置在conf中才有作用

  • 并不是所有的job都适用combiner,只有操作满足结合律的才可设置combiner

posted @ 2019-08-16 16:49  北漂屌丝  阅读(298)  评论(0编辑  收藏  举报