2017年12月18日
摘要: shuffle的过程分析 shuffle阶段其实就是之前《MapReduce的原理及执行过程》中的步骤2.1。多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点上。 Map端: 1、在map端首先接触的是InputSplit,在InputSplit中含有DataNode中 阅读全文
posted @ 2017-12-18 09:22 曹明 阅读(441) 评论(0) 推荐(0) 编辑