摘要: Spark版本 1.3 Spark源码 Spark.createTaskScheduler TaskScheduler初始化过程 1.// SparkContext中 /** * Create a task scheduler based on a given master URL. * Return a 2-tuple of the scheduler backend and the ... 阅读全文
posted @ 2018-11-19 20:27 一根咸鱼干 阅读(274) 评论(0) 推荐(0) 编辑
摘要: Spark版本 1.3SparkContext初始化流程 1.0 在我们的主类 main() 方法中经常会这么写 val conf = new SparkConf().setAppName("name").setMaster("local") val sc = new SparkContext(co 阅读全文
posted @ 2018-11-19 13:12 一根咸鱼干 阅读(518) 评论(0) 推荐(0) 编辑