2016年11月25日
摘要: shuffle。。。相当重要,为什么咩,因为shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce,可以看到Spark提供多种计算结果处理方式,对shuffle过程进行了优化。 那么我们从RDD的iterator方法开始: 我们可以看到,它调用了cach 阅读全文
posted @ 2016-11-25 00:43 松伯 阅读(1764) 评论(0) 推荐(0) 编辑