SparkContext的初始化过程分析(源码)
SparkContext的构造函数中,最重要的入参是SparkConf
根据初始化入参生成SparkConf
再根据SparkConf来创建SparkEnv
TaskScheduler.start的目的,是启动相应的SchedulerBackend,并启动定时器进行检测。
总结
作者:大数据和人工智能躺过的坑
出处:http://www.cnblogs.com/zlslch/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。
如果您认为这篇文章还不错或者有所收获,您可以通过右边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【好文要顶】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!