Spark提供多种运行模式,包括:
本地模式(单机)
本地模式就是以一个独立的进程,通过其内部的多个线程来模拟整个Spark运行时环境
Standalone模式(集群)
Spark中的各个角色以独立进程的形式存在,并组成Spark集群环境
Hadoop YARN模式(集群)
Spark中的各个角色运行在YARN的容器内部,并组成Spark集群环境
- Kubernetes模式(容器集群)
Spark中的各个角色运行在Kubernetes的容器内部,并组成Spark集群环境
- 云服务模式(运行在云平台上)
YARN角色回顾
YARN主要有4类角色,从2个层面去看:
资源管理层面
集群资源管理者(Master):ResourceManager
单机资源管理者(Worker):NodeManager
任务计算层面
单任务管理者(Master):ApplicationMaster
单任务执行者(Worker):Task(容器内计算框
架的工作角色)