会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
打怪up
博客园
首页
新随笔
联系
订阅
管理
2019年12月16日
Spark Shuffle 机制
摘要: 1、spark shuffle:spark 的 shuffle 主要发生在 DAG 视图中的 stage 和 stage 之间,也就是RDD之间是宽依赖的时候,会发生 shuffle。 补充:spark shuffle在很多地方也会参照mapreduce一样,将它分成两个阶段map阶段、reduce
阅读全文
posted @ 2019-12-16 15:50 guoyu1
阅读(857)
评论(0)
推荐(0)
编辑
公告