spark-submit参数详解
通用可选参数：
- --master
MASTER_URL, 可 以 是 spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
- --deploy-mode
DEPLOY_MODE, Driver 程序运行的地方，client 或者 cluster,默认是client。
- --class
CLASS_NAME, 主类名称，含包名
- --jars
逗号分隔的本地 JARS, Driver 和 executor 依赖的第三方 jar 包
- --files
用逗号隔开的文件列表,会放置在每个 executor 工作目录中
- --conf
spark 的配置属性
- --driver-memory
Driver 程序使用内存大小（例如：1000M，5G），默认 1024M
- --executor-memory
每个 executor 内存大小（如：1000M，2G），默认 1G
Spark standalone with cluster deploy mode only:
- --driver-cores
Driver 程序的使用 core 个数（默认为 1），仅限于 Spark standalone模式
Spark standalone or Mesos with cluster deploy mode only:
- --supervise
失败后是否重启 Driver，仅限于 Spark alone 或者 Mesos 模式
Spark standalone and Mesos only:
- --total-executor-cores
executor 使用的总核数，仅限于 SparkStandalone、Spark on Mesos模式
Spark standalone and YARN only:
- --executor-cores
每个 executor 使用的 core 数，Spark on Yarn 默认为 1，standalone 默认为 worker 上所有可用的 core。
YARN-only:
- --driver-cores
driver 使用的 core,仅在 cluster 模式下，默认为 1。
- --queue
QUEUE_NAME 指定资源队列的名称,默认：default
- --num-executors
一共启动的 executor 数量，默认是 2 个。
####################################################################################################################################################
spark-submit 详细参数说明
| 参数名 | 参数说明 |
| --master | master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local |
| --deploy-mode | 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client |
| --class | 应用程序的主类，仅针对 java 或 scala 应用 |
| --name | 应用程序的名称 |
| --jars | 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下 |
| --packages | 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标 |
| --exclude-packages | 为了避免冲突 而指定不包含的 package |
| --repositories | 远程 repository |
| --conf PROP=VALUE |
指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" |
| --properties-file | 加载的配置文件，默认为 conf/spark-defaults.conf |
| --driver-memory | Driver内存，默认 1G |
| --driver-java-options | 传给 driver 的额外的 Java 选项 |
| --driver-library-path | 传给 driver 的额外的库路径 |
| --driver-class-path | 传给 driver 的额外的类路径 |
| --driver-cores | Driver 的核数，默认是1。在 yarn 或者 standalone 下使用 |
| --executor-memory | 每个 executor 的内存，默认是1G |
| --total-executor-cores | 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用 |
| --num-executors | 启动的 executor 数量。默认为2。在 yarn 下使用 |
| --executor-core | 每个 executor 的核数。在yarn或者standalone下使用 |
spark-submit 详细参数说明
| 参数名 | 参数说明 |
| --master | master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local |
| --deploy-mode | 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client |
| --class | 应用程序的主类，仅针对 java 或 scala 应用 |
| --name | 应用程序的名称 |
| --jars | 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下 |
| --packages | 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标 |
| --exclude-packages | 为了避免冲突 而指定不包含的 package |
| --repositories | 远程 repository |
| --conf PROP=VALUE |
指定 spark 配置属性的值， 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m" |
| --properties-file | 加载的配置文件，默认为 conf/spark-defaults.conf |
| --driver-memory | Driver内存，默认 1G |
| --driver-java-options | 传给 driver 的额外的 Java 选项 |
| --driver-library-path | 传给 driver 的额外的库路径 |
| --driver-class-path | 传给 driver 的额外的类路径 |
| --driver-cores | Driver 的核数，默认是1。在 yarn 或者 standalone 下使用 |
| --executor-memory | 每个 executor 的内存，默认是1G |
| --total-executor-cores | 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用 |
| --num-executors | 启动的 executor 数量。默认为2。在 yarn 下使用 |
| --executor-core | 每个 executor 的核数。在yarn或者standalone下使用 |
