摘要: 今天看了一下关于 job 中 stage 的关系时,发现了ResultStage 和 ShuffleMapStage 两个类。这里先介绍一下job、stage、task的关系。 首先 job 的个数取决于 active 行动算子的个数。当流程执行一个 active 行动算子,spark就会生成一个 阅读全文
posted @ 2020-03-13 20:28 迷离的老狗 阅读(2002) 评论(0) 推荐(0) 编辑