2018年9月20日
Mapreduce实例——排序
摘要： 原理 Map、Reduce任务中Shuffle和排序的过程图如下： 流程分析： 1.Map端： （1）每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为 阅读全文
posted @ 2018-09-20 17:06 夏延 阅读(9744) 评论(0) 推荐(0) 编辑