RDD运行原理
1.创建 RDD 对象
2.DAGScheduler模块介入运算,计算RDD之间的依赖关系。RDD之间的依赖关系就形成了DAG
3.每一个JOB被分为多个Stage,划分Stage的一个主要依据是当前计算因子的输入是否是确定的,如果是则将其分在同一个Stage,避免多个Stage之间的消息传递开销。
https://www.cnblogs.com/tgzhu/p/5818374.html
Copyright © 2024 打杂滴
Powered by .NET 8.0 on Kubernetes