Spark源码分析之一：Job提交运行总流程概述

Spark是一个基于内存的分布式计算框架，运行在其上的应用程序，按照Action被划分为一个个Job，而Job提交运行的总流程，大致分为两个阶段：

        1、Stage划分与提交

        （1）Job按照RDD之间的依赖关系是否为宽依赖，由DAGScheduler划分为一个个Stage，并将每个Stage提交给TaskScheduler；

        （2）Stage随后被提交，并由TaskScheduler将每个stage转化为一个TaskSet；

        2、Task调度与执行：由TaskScheduler负责将TaskSet中的Task调度到Worker节点的Executor上执行。

        

        而对于第一阶段Stage划分与提交，又主要分为三个阶段：

        1、Job的调度模型与运行反馈；

        2、Stage划分；

        3、Stage提交：对应TaskSet的生成。

 

        下面，就以图及部分源码，概略介绍下以上三个阶段。

        一、Job的调度模型与运行反馈

        1、首先由DAGScheduler负责将Job提交到事件队列eventProcessLoop中，等待调度执行

        该事件队列为DAGSchedulerEventProcessLoop类型，内部封装了一个BlockingQueue阻塞队列，并由一个后台线程eventThread不断的调用onReceive()方法处理其中的事件；

        2、创建一个JobWaiter对象并返回给客户端

        利用这个JobWaiter对象的awaitResult()方法对Job进行监控与运行反馈，并获得JobSucceeded和JobFailed两种Job运行结果；

       3、DAGSchedulerEventProcessLoop的onReceive()方法处理事件

       onReceive()方法继续调用doOnReceive(event)方法，然后根据传入的事件类型DAGSchedulerEvent决定调用哪个方法处理事件，这里传入的是JobSubmitted事件，调用的是DAGScheduler的handleJobSubmitted()方法，继而进入下一个阶段。

        整个处理流程如下图所示：

        二、Stage划分

        在第一阶段将JobSubmitted事件提交到事件队列后，DAGScheduler的handleJobSubmitted()方法就开始了Stage的划分。

        首先，根据finalRDD获取其Parent Stages，即ShuffleMapStage列表；

        然后，利用finalRDD生成最后一个Stage，即ResultStage；

        最后，生成ActiveJob对象，并维护各种stage、job等数据结构。

        整个处理流程如下图所示：

        三、Stage提交：对应TaskSet的生成

        首先，提交finalStage；

        然后，提交其parent Stage，如果对应parent Stage还存在尚未提交的parent Stage，提交之；

        最好，对于没有parent Stage的Stage，根据stage中rdd的分区，生成tasks，即TaskSet，创建TaskSetManager，并由SchedulerBackend申请资源。

        整个处理流程如下图所示：

        未完待续，明天继续~

 

 博客原地址：http://blog.csdn.net/lipeng_bigdata/article/details/50663569