摘要: Combiner 组件的作用 MapReduce 中的 Combiner 组件就是为了避免 MapTask 任务和 ReduceTask 任务之间的过多的数据传输而设置的 MapReduce 程序可以在 MapTask 阶段自定义一个 Combiner 组件进行聚合 Combiner 的工作机制类似 阅读全文
posted @ 2021-12-05 20:23 追こするれい的人 阅读(112) 评论(0) 推荐(0) 编辑
摘要: MapReduce 默认排序 MapReduce 中Mapper 和 Reducer 中的 <Key,Value> 键值对,Key 值是基本类型,那么将按照基本类型对应的 Key 进行排序(如 int类型的 IntWritable,long 类型的 LongWritable,以及 String类型的 阅读全文
posted @ 2021-12-05 20:00 追こするれい的人 阅读(217) 评论(0) 推荐(0) 编辑