Spark执行的组成部分：作业、任务和步骤

《Spark快速大数据分析》 

8.2 Spark执行的组成部分：作业、任务和步骤

 

程序定义了一个RDD对象的有向无环图DAG

 

每个RDD维护了其指向一个或多个父节点的引用，

以及表示其与父节点之间关系的信息。

RDD可以追踪到其所有的祖先节点。

 

Spark提供了toDebugString方法来查看RDD的谱系。

 

 

在调用行动操作之前，RDD都只是存储着可以让我们计算出

具体数据的描述信息。要触发实际计算，需要对RDD调用

一个行动操作，比如使用collect将数据收集到驱动器程序中。

 

Spark调度器会创建出用于计算行动操作的RDD物理执行计划。

我们再调用collect方法，于是RDD的每个分区都会被物化出来

并发送到驱动器程序中。

 

Spark调度器从最终调用行动操作的RDD出发，

向上回溯所有必须计算的RDD。

 

调度器会访问RDD的父节点，父节点的父节点，

以此类推，递归向上生成计算所有必要的祖先RDD的物理计划。

 

调度器为有向图中的每个RDD输出计算步骤，

步骤中包括RDD上需要应用于每个分区的任务。

然后以相反的顺序执行这些步骤，计算出最终所求的RDD。

 

当调度器进行流水线执行pipelining，或把多个RDD合并到一个步骤中。

当RDD不需要混洗数据就可以从父节点计算出来时，调度器就会自动进行

流水线执行。

toDebugString中输出的谱系使用不同的缩进等级来展示

RDD是否会在物理步骤中进行流水线执行。

在物理执行时，执行计划输出的缩进等级与其父节点相同的RDD

会与其父节点在同一个步骤中进行流水线执行。

比如 textFile -> map -> filter。

 

除了流水线执行的优化，当一个RDD已经缓存在集群内存或磁盘上时，

Spark的内部调度器也会自动截断RDD谱系图。

在这种情况下，Spark会“短路”求值，直接基于缓存下来的RDD进行计算。

还有一种截短RDD谱系图的情况发生在当RDD已经在之前的数据混洗中

作为副产品物化出来时，哪怕该RDD并没有被显式调用persist方法。

这种内部优化是基于Spark数据混洗操作的输出均被写入磁盘的特性。

同时也充分利用了RDD图的某些部分会被计算多次的事实。

 

多次调用collect只会产生一个步骤来完成这个行动操作。

 

特定的行动操作所生成的步骤的集合被称为一个作业。

我们通过类似count之类的方法触发行动操作，创建出一个或多个步骤组成作业。

 

一旦步骤图确定下来，任务就会被创建出来并发给内部的调度器。

该调度器在不同的部署模式下会有所不同。物理计划中的步骤会依赖于其他步骤，

有先后次序，这些步骤会以特定的顺序执行。

 

一个物理步骤会启动很多任务，每个任务都是在不同的数据分区上做同样的事情。

任务内部的流程是一样的。

1.从数据存储（如果该RDD是一个输入RDD）或已有RDD（如果该步骤是基于已经缓存的数据）

或数据混洗的输出中获取输入数据；

2.执行必要的操作来计算出这些操作所代表的RDD。例如，对输入数据执行map, filter函数，

或者进行分组或归约操作；

3.把输出写到一个数据混洗文件中，写入外部存储，或者发回驱动器程序。

 

Spark的大部分日志信息和工具都是以步骤，任务或数据混洗为单位的。

 

Spark执行时有下面所列的这些流程：

1 用户代码定义RDD的有向无环图DAG

    RDD上的操作会创建出新的RDD，并引用它们的父节点，这样就创建出了一个图。

2 行动操作把有向无环图强制转译为执行计划

    当你调用RDD的一个行动操作时，这个RDD就必须被计算出来，这也要求计算出该RDD

    的父节点。Spark调度器提交一个作业来计算所有必要的RDD。这个作业会包含一个

    或多个步骤，每个步骤其实就是一波并行执行的计算任务。一个步骤对应DAG中一个或多个RDD，

    一个步骤对应多个RDD是因为发生了流水线执行。

3 任务于集群中调度执行

    步骤是按照顺序处理的，任务则独立的启动来计算出RDD一部分。一旦作业的最后一个步骤结束，

    一个行动操作也就执行完了。