2017年9月13日
Shuffle过程
摘要： Shuffle过程 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，也实现了shuffle的逻辑。 阅读全文
posted @ 2017-09-13 10:23 fcyh 阅读(1879) 评论(0) 推荐(0) 编辑