2015年9月13日
shuffle过程中的信息传递
摘要： 依据Spark1.4版Spark中的shuffle大概是这么个过程：map端把map输出写成本地文件，reduce端去读取这些文件，然后执行reduce操作。那么，问题来了：reducer是怎么知道它的输入在哪呢？首先，mapper在写完文件之后，肯定能提供与它的输出相关的信息。这个信息，在Spar... 阅读全文
posted @ 2015-09-13 08:54 devos 阅读(955) 评论(0) 推荐(0) 编辑