Spark之SparkContext源码分析
一.简介
SparkContext是Spark程序最主要的入口，用于与Spark集群连接。Spark集群的所有操作都通过SparkContext来进行，使用它可以在Spark集群上创建RDD、计数器以及广播变量。所有的Spark程序都必须创建一个SparkContext对象。进行流式计算时使用的StreamingContext以及进行SQL计算时使用的SQLContext也会关联一个现有的SparkContext或者隐式创建一个SparkContext对象。源码如下：
/** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark
* cluster, and can be used to create RDDs, accumulators and broadcast variables on that cluster. * * Only one SparkContext may be active per JVM. You must `stop()` the active SparkContext before * creating a new one. This limitation may eventually be removed; see SPARK-2243 for more details. * * @param config a Spark Config object describing the application configuration. Any settings in * this config overrides the default configs as well as system properties. */ class SparkContext(config: SparkConf) extends Logging { // The call site where this SparkContext was constructed. private val creationSite: CallSite = Utils.getCallSite() // If true, log warnings instead of throwing exceptions when multiple SparkContexts are active private val allowMultipleContexts: Boolean = config.getBoolean("spark.driver.allowMultipleContexts", false) // In order to prevent multiple SparkContexts from being active at the same time, mark this // context as having started construction. // NOTE: this must be placed at the beginning of the SparkContext constructor. SparkContext.markPartiallyConstructed(this, allowMultipleContexts) val startTime = System.currentTimeMillis() private[spark] val stopped: AtomicBoolean = new AtomicBoolean(false) private[spark] def assertNotStopped(): Unit = { if (stopped.get()) { val activeContext = SparkContext.activeContext.get() val activeCreationSite = if (activeContext == null) { "(No active SparkContext.)" } else { activeContext.creationSite.longForm } throw new IllegalStateException( s"""Cannot call methods on a stopped SparkContext. |This stopped SparkContext was created at: | |${creationSite.longForm} | |The currently active SparkContext was created at: | |$activeCreationSite """.stripMargin) } } def this() = this(new SparkConf()) def this(master: String, appName: String, conf: SparkConf) = this(SparkContext.updatedConf(conf, master, appName)) def this( master: String, appName: String, sparkHome: String = null, jars: Seq[String] = Nil, environment: Map[String, String] = Map()) = { this(SparkContext.updatedConf(new SparkConf(), master, appName, sparkHome, jars, environment)) }
private[spark] def this(master: String, appName: String) = this(master, appName, null, Nil, Map()) private[spark] def this(master: String, appName: String, sparkHome: String) = this(master, appName, sparkHome, Nil, Map())
private[spark] def this(master: String, appName: String, sparkHome: String, jars: Seq[String]) = this(master, appName, sparkHome, jars, Map()) // log out Spark Version in Spark driver log logInfo(s"Running Spark version $SPARK_VERSION")
二.SparkConf配置
初始化SparkContext时，只需要一个SparkConf配置对象作为参数即可。保存配置的SparkConf类的定义在相同目录下的SparkConf.scala文件中，它最主要的成员是一个散列表，其中Key和value的类型都是字符串类型：
虽然SparkConf提供了一些简单的接口来进行配置，但其实所有的配置都以<key,value>对的形式保存在setting中，比如设置master方法就是设置了配置项spark.master。
所以，使用配置文件中的spark.master配置项，或者参数列表中的--master选项，或者setMaster()方法，都可以设置Master地址，只是它们的优先级不同。
每个JVM只允许启动一个SparkContext，否则默认会抛出异常，比如在通过spark-shell启动的交互式编程环境下，已经默认创建了一个名为sc的SparkContext对象，如果直接创建一个StreamingContext对象，则会报错。一个简单的解决办法是先停止默认的sc。
当然，也可以通过设置spark.driver.allowMultipleContext为true来忽略这个错误，如下：
三.初始化过程
SparkContext在构造的过程中，已经完成了各项服务的启动。因为Scala语法的特点，所有构造函数都会调用默认的构造函数，而默认构造函数的代码直接在类定义中。除了初始化各类配置、日志之外，最重要的初始化操作之一是启动Task调度器和DAG调度器，代码如下：
DAG调度与Task调度的区别是，DAG是高层次的调度，为每个Job绘制出一个有向无环图，跟踪各Stage的输出，计算完成Job的最短路径，并将Task提交给Task调度器来执行。而Task调度器只负责接受DAG调度器的请求，负责Task的实际调度执行，所以DAGScheduler的初始化必须在Task调度器之后。
DAG与Task这种分离设计的好处是，Spark可以灵活设计自己的DAG调度，同时还能与其他资源调度系统结合，比如YARN,Mesos等。
Task调度器本身的创建在createTaskScheduler函数中进行。根据Spark程序提交时指定的不同模式，可以启动不同类型的调度器。并且出于容错考虑，createTaskScheduler会返回一主一备两个调度器。以YARN cluster模式为例，主、备调度器对应 不同类的实例，但是加载了相同的配置。代码如下：
case masterUrl => val cm = getClusterManager(masterUrl) match { case Some(clusterMgr) => clusterMgr case None => throw new SparkException("Could not parse Master URL: '" + master + "'") } try { val scheduler = cm.createTaskScheduler(sc, masterUrl) val backend = cm.createSchedulerBackend(sc, masterUrl, scheduler) cm.initialize(scheduler, backend) (backend, scheduler) } catch { case se: SparkException => throw se case NonFatal(e) => throw new SparkException("External scheduler cannot be instantiated", e) } }
四.其它功能接口
SparkContext除了可以初始化环境，连接Spark集群外，还提供了非常多的功能入口，具体如下：
1.创建RDD。所有的创建RDD的方法都在SparkContext中定义，比如parallelize和textFilenewAPIHadoopFile。
2.RDD持久化。RDD的持久化操作方法persistRDD、unpersistRDD也在SparkContext中定义。
3.创建共享变量。包括计数器和广播变量。
4.stop()。停止SparkContext。
5.runJob。提交RDD Action操作，这是所有调度执行的入口。
