Spark - [03] 资源调度模式
题记部分
一、Local模式
1.1、概述
Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试的。
可以通过以下几种方式设置Master
（1）local：所欲计算都运行在一个线程当中，没有任何并行计算，通常我们在本机执行一些测试代码，或者练手，就用这种模式。
（2）local[K]：指定使用几个线程来运行计算，比如local[4]就是运行4个Worker线程。通常我们的CPU有几个Core，就指定几个线程，最大化利用CPU的计算能力。
（3）local[*]：这种模式直接帮你按照CPU最多Cores来设置线程数了。
1.2、安装使用及测试
（1）将Spark的tar包上传到集群的任意节点的合适目录并解压
（2）使用spark-submit求SparkPi
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--executor-memory 1G \
--total-executor-cores 2 \
./exemples/jars/spark-examples_2.11-2.2.1.jar \
100
1.3、spark-submit 参数说明
| 参数名 | 参数说明 |
--master |
master的地址，提交任务到哪里执行（spark://host:port，yarn，local） |
--deploy-mode |
在本地(client)启动 driver 或在 cluster 上启动，默认是 client |
--class |
应用程序的主类，仅针对 java 或 scala 应用 |
--name |
应用程序的名称 |
--jars |
用逗号分隔的本地jar包，设置后，这些jar将包含在 driver 和 executor 的classpath下 |
--packages |
包含在 driver 和 executor 的 classpath 中的 jar 的 maven 坐标 |
--execlude-packages |
为了避免冲突而指定不包含的 package |
--repositories |
远程 repository
|
--conf PROP=VALUE |
指定 spark 的配置属性，例如 --conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" |
--properties-file |
加载的配置文件，默认为 conf/spark-defaults.conf
|
--driver-memory |
Driver 内存，默认 1G
|
--driver-java-options |
传给 driver 的额外的 Java 选项
|
--driver-library-path |
传给 driver 的额外的库路径
|
--driver-class-path |
传给 driver 的额外的类路径
|
--executor-memory |
每个 executor 的内存，默认是 1G
|
--total-executor-cores |
所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
|
--num-executors |
启动的 executor 数量。默认为 2。在 yarn 下使用
|
--executor-core |
每个 executor 的核数。在 yarn 或者 standalone 下使用
|
二、Standalone模式
三、HA
四、Yarn模式
五、Mesos模式
— 业精于勤荒于嬉，行成于思毁于随 —
