2015年4月22日
Hadoop shuffle与排序
摘要： Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看... 阅读全文
posted @ 2015-04-22 15:16 爪哇攻城师 阅读(1515) 评论(0) 推荐(0) 编辑