Spark记录-spark-env.sh配置
| 环境变量 | 含义 |
|---|---|
SPARK_MASTER_IP |
master实例绑定的IP地址，例如，绑定到一个公网IP |
SPARK_MASTER_PORT |
mater实例绑定的端口（默认7077） |
SPARK_MASTER_WEBUI_PORT |
master web UI的端口（默认8080） |
SPARK_MASTER_OPTS |
master专用配置属性，格式如”-Dx=y” （默认空），可能的选项请参考下面的列表。 |
SPARK_LOCAL_DIRS |
Spark的本地工作目录，包括：映射输出的临时文件和RDD保存到磁盘上的临时数据。这个目录需要快速访问，最好设成本地磁盘上的目录。也可以通过使用逗号分隔列表，将其设成多个磁盘上的不同路径。 |
SPARK_WORKER_CORES |
本机上Spark应用可以使用的CPU core上限（默认所有CPU core） |
SPARK_WORKER_MEMORY |
本机上Spark应用可以使用的内存上限，如：1000m，2g（默认为本机所有内存减去1GB）；注意每个应用单独使用的内存大小要用 spark.executor.memory 属性配置的。 |
SPARK_WORKER_PORT |
Spark worker绑定的端口（默认随机） |
SPARK_WORKER_WEBUI_PORT |
worker web UI端口（默认8081） |
SPARK_WORKER_INSTANCES |
每个slave机器上启动的worker实例个数（默认：1）。如果你的slave机器非常强劲，可以把这个值设为大于1；相应的，你需要设置SPARK_WORKER_CORES参数来显式地限制每个worker实例使用的CPU个数，否则每个worker实例都会使用所有的CPU。 |
SPARK_WORKER_DIR |
Spark worker的工作目录，包括worker的日志以及临时存储空间（默认：${SPARK_HOME}/work） |
SPARK_WORKER_OPTS |
worker的专用配置属性，格式为：”-Dx=y”，可能的选项请参考下面的列表。 |
SPARK_DAEMON_MEMORY |
Spark master和worker后台进程所使用的内存（默认：1g） |
SPARK_DAEMON_JAVA_OPTS |
Spark master和workers后台进程所使用的JVM选项，格式为：”-Dx=y”（默认空） |
SPARK_PUBLIC_DNS |
Spark master和workers使用的公共DNS（默认空） |
注意: 启动脚本目前不支持Windows。如需在Windows上运行，请手工启动master和workers。
SPARK_MASTER_OPTS支持以下属性：
| 属性名 | 默认值 | 含义 |
|---|---|---|
spark.deploy.retainedApplications |
200 | web UI上最多展示几个已结束应用。更早的应用的数将被删除。 |
spark.deploy.retainedDrivers |
200 | web UI上最多展示几个已结束的驱动器。更早的驱动器进程数据将被删除。 |
spark.deploy.spreadOut |
true | 独立部署集群的master是否应该尽可能将应用分布到更多的节点上；设为true，对数据本地性支持较好；设为false，计算会收缩到少数几台机器上，这对计算密集型任务比较有利。 |
spark.deploy.defaultCores |
(无限制) | Spark独立模式下应用程序默认使用的CPU个数（没有设置spark.cores.max的情况下）。如果不设置，则为所有可用CPU个数（除非设置了spark.cores.max）。如果集群是共享的，最好将此值设小一些，以避免用户占满整个集群。 |
spark.worker.timeout |
60 | 如果master没有收到worker的心跳，那么将在这么多秒之后，master将丢弃该worker。 |
SPARK_WORKER_OPTS支持以下属性：
| 属性名 | 默认值 | 含义 |
|---|---|---|
spark.worker.cleanup.enabled |
false | 是否定期清理 worker 和应用的工作目录。注意，该设置仅在独立模式下有效，YARN有自己的清理方式；同时，只会清理已经结束的应用对应的目录。 |
spark.worker.cleanup.interval |
1800 (30 minutes) | worker清理本地应用工作目录的时间间隔（秒） |
spark.worker.cleanup.appDataTtl |
7 * 24 * 3600 (7 days) | 清理多久以前的应用的工作目录。这个选项值将取决于你的磁盘总量。spark应用会将日志和jar包都放在其对应的工作目录下。随着时间流逝，应用的工作目录很快会占满磁盘，尤其是在你的应用提交比较频繁的情况下。 |
