打赏

SparkContext的初始化过程分析(源码)

  

 

 

 SparkContext的构造函数中,最重要的入参是SparkConf

 

 根据初始化入参生成SparkConf

 

再根据SparkConf来创建SparkEnv

 

 

 

 

 

 

 TaskScheduler.start的目的,是启动相应的SchedulerBackend,并启动定时器进行检测。

 

 

 

 

 

 

 

 

 

 

 

 

 总结

 

         

 

        

 

posted @ 2016-09-25 11:58  大数据和AI躺过的坑  阅读(411)  评论(0编辑  收藏  举报