Spark基本运行流程

 

 

　　不多说，直接上干货！

 

 

 

 

 

Spark基本运行流程

　　Application program的组成

　　　　　　

Job ： 包含多个Task 组成的并行计算，跟Spark action对应。

Stage ： Job 的调度单位，对应于TaskSet 。

TaskSet ：一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集。

Task ： 被送到某个executor 上的工作单元

 

 

 

 

 

Spark 运行流程概述

　　　　　　　　　　　　

 

 

 

 

 

 

 Spark具体流程(以standalone模式为例)