2024年2月21日
RDD 任务划分
摘要： v> RDD 任务切分中间分为：Application、Job、Stage 和 Task Application：初始化一个 SparkContext 即生成一个 Application； Job：一个 Action 算子就会生成一个 Job； Stage：Stage 等于宽依赖(ShuffleDe 阅读全文
posted @ 2024-02-21 17:26 会飞的猪仔 阅读(6) 评论(0) 推荐(0) 编辑
Spark中RDD阶段划分
摘要： 分析源码步骤： 第一步程序入口： 第二步一直查看runjob方法，可以看出collect()是RDD行动算子，与Job运行提交相关 rdd.scala sparkcontext.scala sparkcontext.scala sparkcontext.scala 第三步runJob()与DAG调度 阅读全文
posted @ 2024-02-21 16:17 会飞的猪仔 阅读(9) 评论(0) 推荐(0) 编辑