为什么要使用YARN?
数据共享、资源利用率、更方便的管理集群等。
详情参见：http://www.cnblogs.com/luogankun/p/3887019.html
Spark YARN版本编译
编译hadoop对应的支持YARN的Spark版本
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" mvn clean package -DskipTests -Phadoop-2.3 -Dhadoop.version=2.3.0-cdh5.0.0 -Dprotobuf.version=2.5.0 -Pyarn -Phive
详情参见：http://www.cnblogs.com/luogankun/p/3798403.html
Spark On YARN
Spark的Cluster Manager负责管理启动executor进程，集群可以是Standalone、YARN和Mesos；
每个SparkContext（换句话说是：Application）对应一个ApplicationMaster（Application启动过程中的第一个容器）；
ApplicationMaster负责和ResourceManager打交道，并请求资源，当获取资源之后通知NodeManager为其启动container； 每个Container中运行一个ExecutorBackend；
ResourceManager决定哪些Application可以运行、什么时候运行以及在哪些NodeManager上运行； NodeManager的Container上运行executor进程；
在Standalone模式中有Worker的概念，而在Spark On YARN中没有Worker的概念；
由于executor是运行在container中，故container内存要大于executor的内存；
Spark On YARN有两种：
1、yarn-client
Client和Driver运行在一起，ApplicationMaster只负责获取资源；
Client会和请求到的资源container通信来调度他们进行工作，也就是说Client不能退出滴；
日志信息输出能输出在终端控制台上，适用于交互或者调试，也就是希望快速地看到application的输出，比如SparkStreaming；
2、yarn-cluster
Driver和ApplicationMaster运行在一起；负责向YARN申请资源，并检测作业的运行状况；executor运行在container中；
提交Application之后，即使关掉了Client，作业仍然会继续在YARN上运行；
日志信息不会输出在终端控制台上；
注：使用Spark On YARN需要在spark-env.sh中配置HADOOP_CONF_DIR或者YARN_CONF_DIR指向Hadoop配置文件所在目录
提交Spark作业到YARN
提交命令：
./bin/spark-submit \ --class <main-class> --master <master-url> \ --deploy-mode <deploy-mode> \ ... # other options <application-jar> \ [application-arguments]
1、提交本地jar
提交到yarn-cluster/yarn-client
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ # can also be `yarn-client` for client mode --executor-memory 20G \ --num-executors 50 \ /path/to/examples.jar \ 1000
如果采用的是yarn-cluster的方式运行的话，想停止执行应用，需要去多个node上干掉；而在yarn-client模式运行时，只需要在client上干掉应用即可。
提交到standalone
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 100 \ /path/to/examples.jar \ 1000
2、提交hdfs上的jar
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ # can also be `yarn-client` for client mode --executor-memory 20G \ --num-executors 50 \ hdfs://hadoop000:8020/lib/examples.jar \ 1000
如果没有在spark-env.sh文件中配置HADOOP_CONF_DIR或者YARN_CONF_DIR，可以在提交作业前指定，形如：
export HADOOP_CONF_DIR=XXX ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ # can also be `yarn-client` for client mode --executor-memory 20G \ --num-executors 50 \ /path/to/examples.jar \ 1000
详情参见：http://spark.apache.org/docs/latest/submitting-applications.html
