2017年9月25日
spark[源码]-DAG调度器源码分析[二]
摘要： 前言 根据图片上的结构划分我们不难发现当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，再生成 阅读全文
posted @ 2017-09-25 16:18 楚时邀月 阅读(810) 评论(0) 推荐(0) 编辑