2018年11月21日
MapReduce 之 Shuffle过程
摘要： 我所认为的MapReduce 是一个分而之治的过程，首先Map阶段将数据分成一个个键值对（key,value）的形式，之后reduce阶段将含有相同key值的键值对做一个聚合，最终形成一个新的键值对。 而在Map和Reduce之间中最重要的就是Shuffle过程，shuffle是Hadoop默认给我 阅读全文
posted @ 2018-11-21 19:53 想学螺旋丸 阅读(296) 评论(0) 推荐(0) 编辑