combiner

定义:

继承Reducer类,Combiner就是一个Reducer,但是处理的是某一个map的输出数据
数据写出到reducer了

job.setCombinerClass(WCCombiner.class);

// 输入类型是map阶段的输出类型,输出类型一般是map阶段的输出类型
class WCCombiner extends Reducer<Text, LongWritable, Text, LongWritable> {
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values, Context context) {
        合并操作
    }
}
posted @ 2022-07-30 14:49  jsqup  阅读(17)  评论(0编辑  收藏  举报