打赏
2018年6月25日
Hadoop_18_MapRduce 内部的shuffle机制
摘要： 1.Mapreduce的shuffle机制: Mapreduce中，map阶段处理的数据如何传递给Reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle 将maptask处理后的输出结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排 阅读全文
posted @ 2018-06-25 09:43 QueryMarsBo 阅读(282) 评论(0) 推荐(0) 编辑