会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
ahu-lichang
博客园
首页
新随笔
联系
管理
订阅
2017年5月1日
MapReduce原理2
摘要: MapReduce的shuffle机制 1、概述 mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle; shuffle: 洗牌、发牌——(核心机制:数据分区,排序,缓存); 具体来说:就是将maptask输出的
阅读全文
posted @ 2017-05-01 22:25 ahu-lichang
阅读(495)
评论(0)
推荐(0)
编辑
公告