spark内核源码深度剖析（2）--Spark的三种提交模式

spark的三种提交模式：

1- spark内核架构，standalone模式，基于spark自己的Mater-Worker集群；

2- 基于yarn的yarn-cluster模式；主要用于线上生产环境。

     修改方式spark-submit脚本，--master参数设置为yarn；--deploy-mode设置为cluster。

     缺点：spark-submit提交后，看不到log日志，只能到hdfs上拉取各个服务器上的日志文件。不方便调试。

     优点： driver运行到nodeManager，没有网卡流量递增的问题。 

3- 基于yarn的yarn-client模式；主要用于测试。

    修改方式spark-submit脚本，--master参数设置为yarn;--deploy-mode设置为client。

    缺点：driver运行在本地客户端，负责调度application，会与yarn集群产生大量的网络通信，从而导致流量激增。

    优点：直接执行时，本地可以看到所有的log。方便测试调试。

 当然，提交模式也可以通过代码或配置文件进行修改。一般优先顺序为：代码SparkContext>脚本>配置文件