2019年8月6日

Spark-源码分析03-SubmitTask

摘要： 1.Rdd rdd中 reduce、fold、aggregate、collect、count这些方法 都会调用 sparkContext.runJob ，这些方法称之为Action 触发提交Job def reduce(f: (T, T) => T): T = withScope { val cle 阅读全文

posted @ 2019-08-06 22:45 chouc 阅读(402) 评论(0) 推荐(0) 编辑

Spark-源码分析02-Luanch Executor

摘要： 1.SparkContext.scala sparkcontext 在被new的时候，会执行class中的代码 其中有一个就是创建TaskScheduler 和 SchedulerBackend，而SchedulerBackend 就是driver 和 外界通信的，我理解SchedulerBacke 阅读全文

posted @ 2019-08-06 17:09 chouc 阅读(306) 评论(0) 推荐(0) 编辑

导航