MR中的combiner和partitioner

---

1.combiner

combiner是MR编程模型中的一个组件；

有些任务中map可能会产生大量的本地输出，combiner的作用就是在map端对输出先做一次合并，以减少map和reduce节点之间的数据传输量，提高网络IO性能，是MR的优化手段之一；

两大基本功能：

1.1map的输出的key的聚合，对map输出的key排序、value进行迭代；

1.2reduce功能。

并不是设置了combiner就一定会执行（在当前集群非常繁忙的时候设置了也不会执行）；

combiner的执行时机：combiner的执行可能会在map的merge之前也可能在之后，这个参数由配置选项min.num.spill.for.combine（默认为3） 决定的，当map端产生的spill文件最少有这么3个时，combiner会在merge操作之前执行，否则之后。

一般情况下可以使用自己写的reduce类作为combiner，但是特殊情况下也可以自定义

public static class combiner extends Reducer<Text,Text,Text,Text>{
    private Text info = new Text();    //为了拆分 key值 准备存储新的value值
    public void reduce(Text key,Iterable<Text>values,Context context) throws IOException, InterruptedException{
      int sum = 0;
      for(Text val:values){
        sum += Integer.parseInt(val.toString());
      }
      int splitIndex = key.toString().indexOf(":");
      info.set(key.toString().substring(splitIndex+1)+":"+sum);    //新的value值
      key.set(key.toString().substring(0, splitIndex));
      context.write(key, info);
    }
  }

job.setCombinerClass(combiner.class);

 

---

2.partitioner

combiner可以减少map的输出到reducer所在节点的网络IO，但是map的输出被分配到哪个reducer上，是由partitioner决定的；

partitioner只有一个方法：

getPartition(Text key, Text value, int numPartitions)  

输入的是map的结果对<key,value>和reducer的数目，返回的则是分配的reducer的编号（整数）。系统缺省的partitioner是HashPartitioner，它以key的Hash值对reducer的数目取模，得到对应的reducer。这样可以保证如果有相同的key值则肯定会被分配到同一个reducer上；
和combiner一样，一般使用默认的，但是特殊情况也可以自定义

public class NewPartition extends HashPartitioner<Text,Text>{
      String keyinfo;
      public int getPartition(Text key,Text value,int numReducerTasks){
        keyinfo = key.toString().split(":")[0];
        return super.getPartition(new Text(keyinfo), value, numReducerTasks);
      }
    }

job.setPartitionClass(NewPartition.class);

 

---