有向无环图

有向:有方向

无环:没有闭环

DAG:有方向没有形成闭环的一个执行流程图

action:执行链条的开关,返回值不是rdd算子

一个action会产生一个job(一个应用程序内的子任务),每个job会产生一个DAG图

一个action = 一个DAG = 一个JOB

一个application中,每一个job内含一个DAG,同时每一个job又是由一个action产生的

2.宽窄依赖和阶段划分

窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区

宽依赖(shuffle):父rdd的一个分区,将数据发给子rdd的多个分区

划分依据:从后向前,遇到宽依赖就划分出一个阶段,称之为stage,在stage内部一定都是窄依赖