寒假生活(spark的运行角色)

合集 - 寒假生活(23)
1.寒假生活(spark的运行角色)
2.寒假生活（spark基础总结）3.寒假生活4.寒假生活(spark的 Standalone 架构)5.寒假生活（Spark程序运行层次结构）6.寒假生活（StandAlone总结）7.寒假生活（StandAlone HA的原理总结）8.寒假生活9.寒假生活10.寒假生活11.寒假生活12.寒假生活，13.寒假生活14.寒假生活15.寒假生活16.寒假生活17.寒假生活(Selenium 的基本使用)18.寒假生活19.寒假生活20.寒假生活21.寒假生活22.寒假生活23.寒假生活
收起

Spark运行角色
Spark中由4类角色组成整个Spark的运行时环境
。Master角色,管理整个集群的资源类比与YARN的ResouceManager。Worker角色,管理单个服务器的资源类比于YARN的NodeManager
。Driver角色，管理 单个Spark任务在运行的时候的工作类比于YARN的ApplicationMaster·Executor角色单个任务运行的时候的一堆工作者,干活的.类比于YARN的容器内运行的TASK
从2个层面划分
资源管理层面:管理者: Spark是Master角色， YARN是ResourceManagel。。工作中: Spark是Worker角色， YARN是NodeManager从任务执行层面:
Driver
容器
某任务管理者: Spark是Driver角色， YARN是ApplicationMaster0
某任务执行者: Spark是Executor角色， YARN是容器中运行的具体工作进程

posted @   傲世小苦瓜  阅读(10)  评论(0)  编辑  收藏  举报
相关博文：
·  寒假生活（spark基础总结）
·  寒假生活（StandAlone总结）
·  117学习总结
·  1月20日学习进度
·  SparkOnYarn
阅读排行：
· Ollama——大语言模型本地部署的极速利器
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· ollama系列1：轻松3步本地部署deepseek，普通电脑可用
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示
AI IDE Trae