yetang307

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
Spark提供多种运行模式,包括:
 本地模式(单机)
本地模式就是以一个独立的进程,通过其内部的多个线程来模拟整个Spark运行时环境
 Standalone模式(集群)
Spark中的各个角色以独立进程的形式存在,并组成Spark集群环境
 Hadoop YARN模式(集群)
Spark中的各个角色运行在YARN的容器内部,并组成Spark集群环境
- Kubernetes模式(容器集群)
Spark中的各个角色运行在Kubernetes的容器内部,并组成Spark集群环境
- 云服务模式(运行在云平台上)
YARN角色回顾
YARN主要有4类角色,从2个层面去看:
资源管理层面
 集群资源管理者(Master):ResourceManager
 单机资源管理者(Worker):NodeManager
任务计算层面
 单任务管理者(Master):ApplicationMaster
 单任务执行者(Worker):Task(容器内计算框
架的工作角色)
posted on 2024-01-12 23:08  椰糖  阅读(4)  评论(0编辑  收藏  举报