摘要：
Shuffle原理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Shuffle原理 (1)map方法在将数据(K,V,P)写入到环形缓冲区之前就已经获取到分区编号了,只不过此时数据没有落地(溢写到磁盘); (2)当环形缓冲区数据快满时会发生数据溢写到磁盘,在溢写到磁盘之前会 阅读全文
摘要：
GroupingComparator分组(辅助排序/组内排序) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 如果我们不希望按照默认的key的比较进行分组时，此时就得启用GroupingComparator分组。 一.GroupingComparator分组概述 对Reduce阶 阅读全文
摘要：
合并(Combiner) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Combiner概述 Combiner是Mapper和Reducer之外的一种可选组件; Combiner组件的父类就是Reducer; Combiner和Reducer的区别在于运行的位置,Combin 阅读全文