MapReduce:详解Shuffle过程
摘要：
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做Mahout的输出预处理工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。 考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任何疑问或建议请留言到后面，谢谢！ Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里. 阅读全文
posted @ 2012-05-18 12:30 巫峡 阅读(229) 评论(0) 推荐(0) 编辑