spark stage

stage概念

Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler运行。stage是由一组并行的task组成

stage切割规则

从后往前，遇到宽依赖就切割stage

stage计算模式

pipeline:是一种计算模式，即管道计算模式

pipeline管道计算模式应用于stage的内部，task在完成RDD之间数据的传递是在内存传输的，而且是一条一条的传输， stage与stage之间会发生落地磁盘

• 数据在管道里面落地时间

1. 对RDD进行持久化
2. shuffle write的时候

• Stage的task并行度是由stage的最后一个RDD的分区数来决定的