MapReduce 分组

MapReduce 默认分组

• MapReduce 程序的 Map 阶段将按行读取数据，然后 MapTask 任务输出 <Key,Value> 键值对
• MapReduce 程序的 Reduce 阶段先按照分区器将 <Key，Value> 键值对划分到不同的分区中（即 ReduceTask）
• MapReduce 程序的同一个分区（即同一个 ReduceTask）将根据 <Key,Value> 进行分组，即将 Key 相同的 <Key,Value> 分为同一个组进行聚合操作

MapReduce 自定义分组

如果 MapReduce 的默认分组（即按照相同 Key 值分为一组）的分组方式无法满足业务需求，那么用户可以自定义分组规则

public class MyGroupComparator extends WritableComparator {
    public MyGroupComparator() {
        //指定分组<key,value>对中 key 的类型，true 为创建该类型的实例，若不指定将报空值错误
        super(Text.class,true);
    }

    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        //自定义分组规则
    }
}

• 自定义分组类需要继承 WritableComparator 父类并重写 compare() 方法

Job 设置自定义分组

//设置自定义分组（不设置使用默认分组）
job.setGroupingComparatorClass(MyGroupingComparator.class);