Spark核心原理

Spark核心原理

spark 运行架构

                              

 

Application (应用程序) : 用户编写的Spark应用程序，包含 DriverProgram （驱动程序）和 在分布由集群

                                    中节点上运行的Executor代码，在执 行过程由一个或者多个作业组成；

                  Driver (驱动程序)：为应用程序Application的main函数创建SparkContext，

                                                   为Spark运用程序创建运行环境；

                                    由SparkContext 负责与ClusterManager通信进行资源的分配，任务分配，监控等；

                                    当Executor 运行结束, 由Driver 关闭SparkContext ;

                  Cluster Manager(集群资源管理器)：在集群上获取资源的外部管理器, 以下几种 ： 

                               Standalone: Spark原生资源管理，由Master 负责资源管理

                               Hadoop Yarn：由YARN 的Resource Manager负责资源管理；

                               Mesos : 由Mesos 中的Mesos Master 负责资源管理； 

Master(总控进程) ： Spark Standalone 运行模式下的主节点；

                                  管理和分配资源来运行Spark Application;

Worker（工作节点）：集群中任何运行Application代码的节点， 类似于YARN中的NodeManager, 在standLone中通过

                                     slave 文件配置的Worker节点， 在Spark On Yarn 中就是Node Manager;

                 Executor（执行进程) ： Application运行在Worker 上的进程；

 

1、消息通信原理

1.1、 Spark 消息通信架构

                   

 

1.2 Spark 启动消息通信 

      Spark 启动过程中，主要运行Master 和 Worker 的通信；

      Worker 向Master 发送注册消息, 如果Master在standby 则忽略该申请；该Worker已经注册，则返回注册失败；

如果Worker注册Master成功， Master则返回消息，并监听Worker的心跳消息；         

     

1.3 Spark运行时消息通信 

         用户提交应用程序时，应用程序的SparkContext 会向Master 发送应用注册消息， 并由Master给该应用分配

Execuator；

         Executor启动后，Executor向SparkContext 发送注册成功消息；

         当SparkContext 的RDD触发行动操作后，创建RDD的DAG, 通过DAG Scheduler 进行划分 stage并将 stage

转化为 TaskSet;

         再由 TaskScheduler 向注册的Executor发送执行消息， Execuator接收到任务消息后启动运行；

         当所有任务运行时， 由Driver处理结果并回收资源

 

2、作业执行原理

     Spark 作业和任务调度系统中的术语：

         Job（作业）：RDD中由行动操作生成的一个或多个调度阶段；

         Stage (调度阶段）：每个作业因为RDD之间的依赖挂你拆分为多组任务集合，称为调度阶段，也叫任务集。

                                          调度阶段的划分由DAGScheduler来划分，调度阶段由Sheffle Map Stage 和Result Stage两种

         Task ( 任务) : 分发到Excutor上的任务;

          DAG Scheduler : 面向调度阶段的任务调度器；

                                      接收Spark应用提交的作业，根据RDD的依赖关系划分调度阶段，'

                                      并提交调度阶段给Task Scheduler

          Task Scheduler : 面向任务的调度器， 接收 DAG Scheduler 提交的调度阶段， 然后把任务发送Work节点运行，

                                      由Worker 节点的Excutor 运行该任务；

 

2、概述

                  

 

 

      1）spark应用程序进行各种转换操作，并通过转化操作触发作业运行；

            提交作业后, 根据RDD的依赖关系构建DAG图，并将DAG图给DAGScheduler解析；

       2）DAGScheduler 把DAG 拆分为互相依赖的调度阶段，调度阶段以宽依赖作为划分依据，

             调度阶段包含一个或多个任务，形成任务集，交给TaskScheduler调度运行; 

             DAG 还要记录哪些RDD 存入磁盘等动作，并需求任务最优调度；

       3）TaskScheduler 将任务集一个个分发到Worker节点的Executor运行，失败则需要重新运行；

       4）Worker中的Executor收到TaskScheduler的任务后，以多线程的方式运行，

             一个线程运行一个任务；

             完成任务后返回个TaskScheduler；    

 

 

 

                                   

                     

 

 

 

                  

==================================================================

资料来源:  1.《Spark权威指南》

                  2. 《图解Spark核心技术和实例实战》