会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
linux-123
博客园
首页
新随笔
联系
订阅
管理
2021年6月27日
Spark中的内存计算是什么?
摘要: 由于计算的融合只发生在 Stages 内部,而 Shuffle 是切割 Stages 的边界,因此一旦发生 Shuffle,内存计算的代码融合就会中断。 在 Spark 中,内存计算有两层含义: 第一层含义就是众所周知的分布式数据缓存; 第二层含义是 Stage 内的流水线式计算模式,通过计算的融合
阅读全文
posted @ 2021-06-27 00:56 linux-123
阅读(228)
评论(0)
推荐(0)
编辑
公告