MapReduce Combiner

Combiner编程(可选步骤,视情况而定!)

  • combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。 如果不用combiner,那么所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
  • 注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
posted @ 2018-12-21 15:07  FlyingWarrior  阅读(153)  评论(0编辑  收藏  举报