会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
曹明
博客园
首页
新随笔
联系
订阅
管理
2017年12月18日
shuffle的过程分析
摘要: shuffle的过程分析 shuffle阶段其实就是之前《MapReduce的原理及执行过程》中的步骤2.1。多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点上。 Map端: 1、在map端首先接触的是InputSplit,在InputSplit中含有DataNode中
阅读全文
posted @ 2017-12-18 09:22 曹明
阅读(441)
评论(0)
推荐(0)
编辑