2021年1月6日
Spark应用程序执行-阶段的划分
摘要： 阶段的划分 ​ SparkContext对象包含有一个私有属性DAGScheduler阶段调度器，主要用于阶段的划分。在一个应用程序中，任务的提交都是从行动算子触发的。行动算子的方法内部会调用一个runJob方法，其中就有DAG调度器发挥运行Job的作用： dagScheduler.runJob(r 阅读全文
posted @ 2021-01-06 22:00 有心有梦 阅读(540) 评论(0) 推荐(0) 编辑