资源管理层面:
1.集群资源管理者(master):ResourceManager
2.单机资源管理者(worker):NodeManager
任务计算层面:
单任务管理者(master):ApplicationMaster
单任务执行者(worker):Task(容器内计算款家的角色)
spark运行角色
资源层面:
1.master角色:集群资源管理
2.worker角色:单机资源管理
任务运行层面:
1.driver:单个任务的管理
2.excutor:单个任务的计算(干活的)
特殊场景下(local模式)driver可以及管理又干活
1.集群资源管理者(master):ResourceManager
2.单机资源管理者(worker):NodeManager
任务计算层面:
单任务管理者(master):ApplicationMaster
单任务执行者(worker):Task(容器内计算款家的角色)
spark运行角色
资源层面:
1.master角色:集群资源管理
2.worker角色:单机资源管理
任务运行层面:
1.driver:单个任务的管理
2.excutor:单个任务的计算(干活的)
特殊场景下(local模式)driver可以及管理又干活
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!