Spark源码剖析（七）：Job触发流程原理与源码剖析

引言

我们知道在application中每存在一个action操作就会触发一个job，那么spark底层是怎样触发job的呢？接下来我们用一个wordcount程序来剖析一下job的触发机制。

解析wordcount源码

1. val lines = sc.textFile()

 

2. val words = lines.flatMap(line => line.split(" "))

 

3. val pairs = words.map(word => (word, 1))

 

4. val counts = pairs.reduceByKey(_ + _) 
   其实RDD类中是没有reduceByKey方法的，但是对RDD调用该方法时，会触发scala的隐式转换，会在RDD类中找到rddToPairRDDFunctions()隐式转换，然后将RDD转换为PairRDDFunctions，接着会调用PairRDDFunctions类中的reduceByKey()方法。

 
  
new PairRDDFunctions(rdd)

在上面我们也可以看到reduceByKey操作是要先在本地做combine，然后再进行reducer分发的。

 

5. counts.foreach(count => println(count._1 + ": " + count._2))

 
  
连续调用好几个runJob方法后

 
  
最终调用SparkContext初始化时创建的DAGSchedule的runJob方法

至此我们知道每个action操作都会调用DAGSchedule的runJob方法来创建一个job！

下一篇文章我们将详解DAGSchedule的runJob方法并剖析DAGSchedule的stage划分原理及源码。