spark部署模式

 

 

 

 

 

yarn模式又分为yarn cluster模式和yarn client模式：

• yarn cluster: 这个就是生产环境常用的模式，所有的资源调度和计算都在集群环境上运行。
• yarn client: 这个是说Spark Driver和ApplicationMaster进程均在本机运行，而计算任务在cluster上。

用spark-submit命令提交时， 用--master yarn --deploy-mode cluster或者--master yarn --deploy-mode client

yarn模式仅支持粗粒度资源模式，优先选在spark on mesos,可支持细粒度资源模式。