Combiners和Partitioner编程
Combiners的作用：
每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量，
1）combiner最基本是实现本地key的聚合，对map输出的key排序，value进行迭代。如下所示：map: (K1, V1) → list(K2, V2) combine: (K2, list(V2)) → list(K2, V2) reduce: (K2, list(V2)) → list(K3, V3)
2）combiner还具有类似本地的reduce功能.例如hadoop自带的wordcount的例子和找出value的最大值的程序，combiner和reduce完全一致。如下所示：map: (K1, V1) → list(K2, V2) combine: (K2, list(V2)) → list(K3, V3) reduce: (K3, list(V3)) → list(K4, V4)
3）如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。
4）对于hadoop自带的wordcount的例子，value就是一个叠加的数字，所以map一结束就可以进行reduce的value叠加，而不必要等到所有的map结束再去进行reduce的value叠加。
注意：combiner使用的合适，可以在满足业务的情况下提升job的速度，如果不合适，则将导致输出的结果不正确。
Combiner的输出是Reducer的输入，Combiner绝不能改变最终的计算结果。所以从我的想法来看，Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。
Combiners分析
假设有两个map。
第一个map的输出为：
（1950,0）
(1950,20)
(1950,10)
第二个map输出为：
（1950,25）
(1950,15)
(1950,30)
Reduce函数被调用是，输入如下：
（1950，[0,20,10,25,15,30]）
因为30是最大的值，所以输出如下：
（1950,30）
如果我们使用 combiner：那么reduce调用的时候传入的数据如下：
（1950，[20,30]）--（1950,30）
用表达式表示为：
Max(0,20,10,25,15,30)=max(max(0,20,10),max(25,15,30))=max(20,30)=30
使用 Combiners要小心
刚才我们是计算最大值可以使用Combiners能提高效率。
如果我们要是求平均值呢？
Avg（0,20,10,25,15,30） = 15
如果使用Combiner会得到什么样的结果呢？
第一个map输出为：
avg(0,20,10) = 10
第二个map输出为：
Avg（25,15,30） = 23
输入到reduce出来的结果为：
Avg(10,23) = 17.5
17.5和15？
所以 ：使用combiner一定要注意。
Partitioner分析
Partitioner 在mapreduce的位置：
Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求：
1）均衡负载，尽量的将工作均匀的分配给不同的reduce。
2）效率，分配速度一定要快。
1：Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。
2：HashPartitioner是mapreduce的默认partitioner。计算方法是
which reducer=(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks，得到当前的目的reducer。
3：BinaryPatitioner继承于Partitioner< BinaryComparable ,V>，是Partitioner的偏特化子类。该类提供leftOffset和rightOffset，在计算which reducer时仅对键值K的[rightOffset，leftOffset]这个区间取hash。
Which reducer=(hash & Integer.MAX_VALUE) % numReduceTasks
4：KeyFieldBasedPartitioner也是基于hash的个partitioner。和BinaryPatitioner不同，它提供了多个区间用于计算hash。当区间数为0时KeyFieldBasedPartitioner退化成HashPartitioner。
5.TotalOrderPartitioner这个类可以实现输出的全排序。不同于以上3个partitioner，这个类并不是基于hash的。在下一节里详细的介绍totalorderpartitioner。
自定义的Partitioner
1）为何使用Partitioner，主要是想reduce的结果能够根据key再次分类输出到不同的文件夹中。
2）结果能够直观，同时做到对数据结果的简单的统计分析。
需求：
1、输入的数据文件内容如下(1条数据内容少，1条数据内容超长，3条数据内容正常)：
Kaka 1 28
hua 0 26
chao 1
tao 1 22
mao 0 29 22
2、目的是为了分别输出结果，正确的结果输出到一个文本，太短的数据输出到一个文本，太长的输出到一个文本，共三个文本输出。
Patitioner接口：
public int getPartition(Text key, Text value, int numPartitions)；
numPartitions为Reduce的个数。
注：在本地作业运行器上运行时，只支持0个或一个Reduce。
