2019年7月4日
Spark2.4.0源码——DAGScheduler
摘要： 前言 Spark会将用户提交的作业看作一个job，在提交的时候首先将job转换为一系列的RDD，并按照RDD之间的依赖关系构建DAG(有向无环图)，DAGScheduler会按照RDD依赖的不同将DAG划分为不同的stage，每个stage内部按照RDD分区数创建多个task，最后将task封装成t 阅读全文
posted @ 2019-07-04 08:51 Syui啦 阅读(182) 评论(0) 推荐(0) 编辑