2015年11月18日
MapReduce的Shuffle阶段和Sort阶段
摘要： 组成部分 Shuffle阶段分为两部分:Map端和Reduce端。 Sort阶段就是对Map端输出的key进行排序。 第一部分:Map端Shuffle 对于输入文件，会进行分片，对于一个split，有一个map任务进行处理，每个Map在内存中都有一个缓存区，map的输... 阅读全文
posted @ 2015-11-18 12:38 丶大雄 阅读(6397) 评论(1) 推荐(1) 编辑