spark运行架构

spark的核心框架是一个计算引擎,它采用了标准的中从结构

 

Driver

spark的驱动器节点,主要执行spark中的main方法,负责实际代码的执行工作

 

Driver可以理解为使整个应用运行起来的程序。

Executor 
Executor是spark中的工作节点worker中的一个进程,负责运行具体的任务

 

 

 

 

posted @   软工小蜗牛  阅读(17)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
点击右上角即可分享
微信分享提示