会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
迷离的老狗
博客园
首页
新随笔
联系
订阅
管理
2020年3月13日
关于spark中的ResultStage和ShuffleMapStage
摘要: 今天看了一下关于 job 中 stage 的关系时,发现了ResultStage 和 ShuffleMapStage 两个类。这里先介绍一下job、stage、task的关系。 首先 job 的个数取决于 active 行动算子的个数。当流程执行一个 active 行动算子,spark就会生成一个
阅读全文
posted @ 2020-03-13 20:28 迷离的老狗
阅读(2002)
评论(0)
推荐(0)
编辑
公告