会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
超大的皮卡丘
用你的激情与热情,感染更多的人,影响更多的人。
博客园
首页
新随笔
联系
订阅
管理
2016年11月25日
Spark Shuffle数据处理过程与部分调优(源码阅读七)
摘要: shuffle。。。相当重要,为什么咩,因为shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce,可以看到Spark提供多种计算结果处理方式,对shuffle过程进行了优化。 那么我们从RDD的iterator方法开始: 我们可以看到,它调用了cach
阅读全文
posted @ 2016-11-25 00:43 松伯
阅读(1764)
评论(0)
推荐(0)
编辑