SPARK执行流程

RDD运行原理

1.创建 RDD 对象
2.DAGScheduler模块介入运算，计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG
3.每一个JOB被分为多个Stage，划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间的消息传递开销。

https://www.cnblogs.com/tgzhu/p/5818374.html