会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
sw_kong
博客园
首页
新随笔
联系
订阅
管理
2019年9月22日
浅析 Spark Shuffle 内存使用
摘要: 在使用 Spark 进行计算时,我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况,而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢? 为此,本文将围绕以上问题梳理 Spark
阅读全文
posted @ 2019-09-22 09:35 sw_kong
阅读(387)
评论(0)
推荐(0)
编辑
公告