spark处理过程

(1)构建Spark Application的运行环境,启动SparkContext

(2)SparkContext向资源管理器注册并向资源管理器申请运行Executor

(3)资源管理器分配Executor并启动Executor

(4)Executor发送心跳至资源管理器

(5)SparkContext构建DAG图

(6)将DAG分解成Stage,把Stage发送给taskScheduler

(7)Executor向SparkContext申请task

(8)taskScheduler将task发送给Executor运行

(9)SparkContext将应用程序代码发送给Executor

(10)task在Executor上运行,运行完毕释放所有资源

posted @ 2022-06-17 10:47  hulifang  阅读(98)  评论(0编辑  收藏  举报