会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Chris,Cai
博客园
首页
新随笔
联系
管理
订阅
2019年4月26日
Hadoop Mapreduce中shuffle 详解
摘要: MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程: 首先,map 输出的<key,value > 会放在内存中,内存有一定的大小,超过之后,会将内存里的东西溢写(spill) 到磁盘(disk)中 。在从内存溢
阅读全文
posted @ 2019-04-26 11:40 Chris,Cai
阅读(386)
评论(0)
推荐(0)
编辑
公告