Spark On Yarn搭建及各运行模式说明
之前记录Yarn：Hadoop2.0之YARN组件，这次使用Docker搭建Spark On Yarn
一、各运行模式
1、单机模式
该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上没有问题。其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程拥有1个core）
指令实例：
1）spark-shell --master local
2）spark-shell --master local[4]代表会有4个线程（每个线程一个core）来并发执行应用程序
运行该模式非常简单，只需要把Spark的安装包解压之后，改一些常用的配置即可使用，而不用启动Spark的Master 、Worker守护进程（只有集群的Standalone方式时，才需要这两个角色），也不用启动Hadoop的各服务（除非必须用到hdfs）这是和其他模式的区别。
2、伪集群模式
该模式和local[N]很像，不同的是。它会在单机启动多个进程来模拟集群下的分布式场景，而不像Local[N]这种多线程只能在一个进程下共享资源。通常也是用来验证开发出来的应用程序在逻辑上有没有问题，或想使用Spark的计算框架而没有太多资源。
指令实例：
spark-shell --master local-cluster[2,3,1024]
用法：提交应用程序时使用local-cluster[x,y,z]，参数：x代表要生成executor数，y和z分别代表每个executor所拥有的core和memory数，上面这条命令表示：会使用2个executor进程，每个进程分配3个core和1G内存来运行应用程序
该模式非常简单，只需要把spark的安装包解压后，改一些常用的配置即可使用。而不用启动Spark的Master、Worker守护进程（只有集群的standalone方式时，也不用启动hadoop的各服务）。
3、集群模式1---spark自带的Cluster Manager的Standalone client模式
和单机运行模式不同，这里必须在执行应用程序前，先启动Spark的Master和Worker守护进程。不用启动Hadoop服务，除非必须用到。然后在想要作为Master的节点上用start-all.sh来启动即可。这样运行模式，可以使用spark的8080 web ui来观察资源和应用程序的执行情况
指令实例：
1）spark-shell --master spark://spark01:7077
2）spark-shell --master spark://spark01:7077 --deploy-mode client
产生的进程
①Master进程作为clust manager，用来对应用程序申请的资源进行管理。
②SparkSubmit作为client端和运行Driver程序
③CoarseGrainedExecutorBackend用来并发执行程序
4、集群模式2---spark自带的Cluster Manager的standalone cluster模式
指令实例：
spark-submit --master spark://spark01:6066 --deploy-mode cluster
与第三种模式的区别：
①客户端的SparkSubmit进程会在应用程序提交给集群后退出
②Master会在集群中选择一个Worker进程生成一个子进程DriverWrapper来启动Driver来启动程序
③该DriverWrapper进程会占用Worker进程的一个core，所以同样的资源配置下，会比第三种运行模式，少一个core来参与运算
④应用程序的结果，会在执行Driver程序的节点的sdtout中输出，而不是打印在屏幕上。
5、集群模式3---基于Yarn的ResourceManager的Client模式
现在越来越多的场景，都是Spark跑在Hadoop集群中，所以为了做到资源能够均衡调度，会使用Yarn来作为Spark的Cluster的Manager，来为Spark的应用程序分配资源。在执行Spark应用程序之前，要启动Hadoop的各个服务。由于已经有了资源管理器，所以不需要启动Spark的Master、Work守护进程。
指令实例：
①spark-shell --master yarn
②spark-shell --master yarn --deploy-mode client
提交应用程序后，各节点会启动相关JVM进程，如下：
①在ResourceManager节点上提交应用程序，会生成SparkSubmit进程，该进程会执行Driver程序。
②RM会在集群中的某个NodeManager上启动一个ExecutorLauncher进程来作为ApplicationMaster
③RM也会在多个NodeManager上生成一个CoarseGrainedExecutorBackend进程来并发执行应用程序。
6、集群模式4----基于Yarn的ResourceManager的Cluster模式
指令实例：
①spark-shell --master yarn --deploy-mode client
和第5种的区别如下：
①在ResourceManager端提交应用程序，会生成SparkSubmit进程，该进程只用来做Client端，应用程序提交给集群后，就会删除该进程
②ResourceManager在集群中的某个NodeManager中运行ApplicationMaster，该AM同时会执行Driver程序，紧接着，各NodeManager上运行CoarseGrainedExecutorBackend来并发执行应用程序
③应用程序的结果，会在执行Driver应用程序的节点的sdtout输出，而不是打印在屏幕上。
7、Spark On Mesos模式
http://ifeve.com/spark-mesos-spark/
二、Spark On Yarn
官方说明：http://spark.apache.org/docs/latest/running-on-yarn.html、http://spark.apache.org/docs/latest/submitting-applications.html
1、图解说明
Spark On Yarn模式：Spark集群的资源管理器不是由Master（Cluster Manager）来管理，而是由Yarn的ResourceManager来管理，而Spark的任务调度依然是由SparkContext来调度。
2、环境搭建
本地搭建还是基于之前的环境：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），基于以上6个容器的Zookeeper集群、hadoop集群等环境来搭建。
Spark on YARN运行模式，只需要在Hadoop分布式集群中任选一个节点安装配置Spark即可，不要集群安装。因为Spark应用程序提交到YARN后，YARN会负责集群资源的调度，任选一个hadoop容器来安装spark即可。
1、启动Zookeeper集群
2、启动hadoop集群
3、hadoop0容器安装配置spark，拷贝编辑spark-env.sh
4、启动测试
spark的bin目录执行命令：./spark-shell --master yarn --deploy-mode client
5、Yarn Web界面
可以看到Spark shell应用程序正在运行，单击ID号链接，可以看到该应用程序的详细信息。
3、问题解决
如果是用虚拟机搭建，可能会由于虚拟机内存过小而导致启动失败，比如内存资源过小，yarn会直接kill掉进程导致rpc连接失败。所以，我们还需要配置Hadoop的yarn-site.xml文件，加入如下两项配置：
编辑yarn-site.xml添加如下内容即可
<property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property>
如有问题，欢迎指正交流~~~~
