有向无环图
有向:有方向
无环:没有闭环
DAG:有方向没有形成闭环的一个执行流程图
action:执行链条的开关,返回值不是rdd算子
一个action会产生一个job(一个应用程序内的子任务),每个job会产生一个DAG图
一个action = 一个DAG = 一个JOB
一个application中,每一个job内含一个DAG,同时每一个job又是由一个action产生的
2.宽窄依赖和阶段划分
窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区
宽依赖(shuffle):父rdd的一个分区,将数据发给子rdd的多个分区
划分依据:从后向前,遇到宽依赖就划分出一个阶段,称之为stage,在stage内部一定都是窄依赖
有向:有方向
无环:没有闭环
DAG:有方向没有形成闭环的一个执行流程图
action:执行链条的开关,返回值不是rdd算子
一个action会产生一个job(一个应用程序内的子任务),每个job会产生一个DAG图
一个action = 一个DAG = 一个JOB
一个application中,每一个job内含一个DAG,同时每一个job又是由一个action产生的
2.宽窄依赖和阶段划分
窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区
宽依赖(shuffle):父rdd的一个分区,将数据发给子rdd的多个分区
划分依据:从后向前,遇到宽依赖就划分出一个阶段,称之为stage,在stage内部一定都是窄依赖
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!