2018 年 8月 21 日随笔档案 - waker_wang

hadoop的shuffle过程

摘要： 1. shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； shuffle具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行排序； 2. shuffle缓存流程： shuffle是MapReduce处理流程中的一个过程，阅读全文

posted @ 2018-08-21 16:04 waker_wang 阅读(620) 评论(0) 推荐(0) 编辑

2018年8月21日

公告