2022年6月2日
Spark 任务划分&作业提交
摘要： 1、Stage任务划分 DAG有向无环图：DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。原始的RDD通过一系列的转换就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换 阅读全文
posted @ 2022-06-02 20:23 晓枫的春天 阅读(520) 评论(0) 推荐(0) 编辑