2015年1月20日
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
摘要： 接着上一篇文章继续分析代码：3.1.3.3.3.1、进入TaskSet方法：3.1.3.3.3.2、进入taskScheduler.submitTasks(new TaskSet(tasks.toArray, stage.id, stage.newAttemptId(), stage.jobId, ... 阅读全文
posted @ 2015-01-20 17:57 stark_summer 阅读(293) 评论(0) 推荐(0) 编辑
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
摘要： RDD源码的count方法：从上面代码可以看出来，count方法触发SparkContext的runJob方法的调用：进入runJob(rdd, func, 0 until rdd.partitions.size, false)方法：进一步跟踪runJob(rdd, (context: TaskCo... 阅读全文
posted @ 2015-01-20 16:10 stark_summer 阅读(222) 评论(0) 推荐(0) 编辑
spark内核揭秘-08-spark的Web监控页面
摘要： 在SparkContext中可以看到初始化UI代码：// Initialize the Spark UIprivate[spark] val ui: Option[SparkUI] = if (conf.getBoolean("spark.ui.enabled", true)) { Some... 阅读全文
posted @ 2015-01-20 12:42 stark_summer 阅读(1178) 评论(0) 推荐(0) 编辑