2014年12月11日

spark1.1.0源码阅读-executor

摘要： 1. executor上执行launchTask1 def launchTask(2 context: ExecutorBackend, taskId: Long, taskName: String, serializedTask: ByteBuffer) {3 val tr... 阅读全文

posted @ 2014-12-11 22:36 Torstan 阅读(301) 评论(0) 推荐(0) 编辑

spark1.1.0源码阅读-taskScheduler

摘要： 1. sparkContext中设置createTaskScheduler 1 case "yarn-standalone" | "yarn-cluster" => 2 if (master == "yarn-standalone") { 3 logW... 阅读全文

posted @ 2014-12-11 22:28 Torstan 阅读(369) 评论(0) 推荐(0) 编辑

spark1.1.0源码阅读-dagscheduler and stage

摘要： 1. rdd action ->sparkContext.runJob->dagscheduler.runJob 1 def runJob[T, U: ClassTag]( 2 rdd: RDD[T], 3 func: (TaskContext, Iterator[T])... 阅读全文

posted @ 2014-12-11 20:46 Torstan 阅读(308) 评论(0) 推荐(0) 编辑

导航