Spark参数详解 （Spark1.6）
参考文档：Spark官网
在Spark的web UI在“Environment”选项卡中列出Spark属性。这是一个很有用的地方，可以检查以确保属性设置正确。注意，只有通过spark-defaults.conf, SparkConf, 或者 command line配置过的属性才会出现 。对于所有其他配置属性，控制内部设置的大多数属性具有合理的默认值，在没有额外配置的额情况下，可以假定使用默认值。
应用级别的参数
| 参数名称 |
默认值 |
释义 |
注释 |
| spark.app.name |
none |
应用程序的名称。这将出现在UI和日志数据中 |
|
| spark.driver.cores |
1 |
用于驱动进程的内核数，仅在集群模式下使用 |
|
| spark.driver.maxResultSize |
1g |
每个Spark动作(例如collect)的所有分区序列化结果的总大小限制。应该是至少1M，或者是0。如果作业的总大小超过此限制，则将中止作业。 |
有一个高的限制可能会在驱动程序(取决于spark.driver.memory 和 JVM中对象的内存开销)中导致内存不足错误。内存和JVM中对象的内存开销)。设置适当的限制可以保护驱动程序免受内存不足的错误。 |
| spark.driver.memory |
1g |
用于驱动进程的内存数量，即初始化SparkContext的地方。(例如1 g, 2 g)。 |
注意:在客户端模式下，这个配置不能在应用程序中通过SparkConf直接设置，因为驱动程序JVM已经在此时启动了。相反，请通过——驱动程序内存命令行选项或在默认属性文件中设置它。 |
| spark.executor.memory |
1g |
每个执行程序executor要使用的内存量(例如2g、8g)。 |
|
| spark.extraListeners |
none |
实现SparkListener的类的逗号分隔列表;在初始化SparkContext时，这些类的实例将被创建并注册到Spark的侦听器总线。 |
这个没看懂~ |
| spark.local.dir |
/tmp |
用于在Spark中“scratch”空间的目录，包括存储在磁盘上的映射输出文件和rdd。这应该在您系统中的一个快速本地磁盘上。它也可以是不同磁盘上多个目录的逗号分隔列表。 |
注意:在Spark 1.0及以后版本中，这将由SPARK_LOCAL_DIRS(Standalone, Mesos)或LOCAL_DIRS (YARN) 环境变量覆盖。 |
| spark.logConf |
false |
在启动SparkContext时，将有效的SparkConf记录为信息。 |
|
| spark.master |
none |
要连接的集群管理器。 |
|
| 除此之外，以下属性也可用，在某些情况下可能有用: |
|
|
|
运行时环境相关参数
| 参数名称 |
默认值 |
释义 |
注释 |
| spark.driver.extraClassPath |
none |
在驱动程序的类路径之前添加额外的类路径条目。 |
注意:在客户端模式下，这个配置不能在应用程序中通过SparkConf直接设置，因为驱动程序JVM已经在此时启动了。通过 --driver-class-path或在默认属性文件中配置。这参数么得用过~ |
| spark.driver.extraJavaOptions |
none |
一串额外的JVM选项传递给驱动程序。例如，GC设置或其他日志记录。 |
在客户端模式下，这个配置不能在应用程序中通过SparkConf直接设置，因为驱动程序JVM已经在此时启动了，可以通过 --driver-java-options或配置文件里面配置，这参数么得用过~ |
| spark.driver.extraLibraryPath |
none |
设置启动驱动程序JVM时要使用的特殊库路径。 |
在客户端模式下，这个配置不能在应用程序中通过SparkConf直接设置，因为驱动程序JVM已经在此时启动了。可以通过 --driver-library-path 或配置文件里面配置，这参数么得用过~ |
| spark.driver.userClassPathFirst |
false |
(实验)在驱动程序中加载类时，是否将用户添加的jar优先于Spark自己的jar。 |
此特性可用于缓解Spark的依赖项与用户依赖项之间的冲突。这是目前的一个实验特性。这只在集群模式下使用。这参数么得用过~，基本打包spark相关的包都已经去掉了，预防针冲突，好像新的版本可以用了，下次确认下。 |
| spark.executor.extraClassPath |
none |
附加的类路径条目，以作为执行器类路径的前缀。 |
这主要是为了向后兼容旧版的Spark而存在的。用户通常不需要设置这个选项。这参数么得用过~ |
| spark.executor.extraJavaOptions |
none |
要传递给执行器的额外JVM选项字符串。例如，GC设置或其他日志记录。 |
这参数么得用过~ |
| spark.executor.extraLibraryPath |
none |
设置启动执行器JVM时要使用的特殊库路径。 |
这参数么得用过~ |
| spark.executor.logs.rolling.maxRetainedFiles |
none |
设置系统将保留的最新滚动日志文件的数量。旧的日志文件将被删除。默认情况下禁用。 |
这参数么得用过~ |
| spark.executor.logs.rolling.maxSize |
none |
设置执行程序日志将被滚动的文件的最大大小。默认情况下禁用滚动。 |
这参数么得用过~ |
| spark.executor.logs.rolling.strategy |
none |
设置执行器日志的滚动策略。默认情况下，它是禁用的。它可以设置为“时间”(基于时间的滚动)或“大小”(基于大小的滚动) |
对于“time”，使用spark.executor.log . roll.time .interval来设置滚动间隔。对于“size”，请使用spark.executor.log .rolling.size。设置滚动的最大文件大小。 |
| spark.executor.logs.rolling.time.interval |
daily |
设置执行器日志将被滚动的时间间隔。默认情况下禁用滚动 |
有效值为每日、小时、分钟或以秒为单位的任何间隔( daily, hourly, minutely or any interval in seconds) |
| spark.executor.userClassPathFirst |
false |
功能与spark.driver.userClassPathFirst相似，但是作用于executor |
这参数么得用过~ |
| spark.executorEnv.[EnvironmentVariableName] |
none |
将EnvironmentVariableName 指定的环境变量添加到执行程序进程中。 |
用户可以指定多个环境变量来设置多个环境变量。 |
Shuffle操作相关参数
| 参数名称 |
默认值 |
释义 |
注释 |
| spark.reducer.maxSizeInFlight |
48m |
从每个reduce任务同时获取的映射输出的最大大小。 |
因为每个输出都需要我们创建一个缓冲区来接收它，所以每个reduce任务的内存开销都是固定的，所以除非您有大量的内存，否则请保持较小。 |
| spark.shuffle.compress |
true |
是否压缩映射输出文件。一般来说是个好主意。 |
压缩将使用spark.io.compression.codec。 |
| spark.shuffle.file.buffer |
32k |
每个shuffle文件输出流的内存缓冲区大小。 |
这些缓冲区减少了在创建shuffle文件时磁盘查找和系统调用的数量。 |
| spark.shuffle.io.maxRetries |
3 |
(Netty only)如果设置为非零值，则会自动重试由于io相关异常而失败的获取。 |
这种重试逻辑有助于在面对长时间GC暂停或短暂的网络连接问题时稳定大型shuffle操作。 |
| spark.shuffle.io.numConnectionsPerPeer |
1 |
主机之间的连接被重用数量 |
对于拥有许多硬盘和少量主机的集群，这可能导致并发性不足，无法使所有磁盘饱和，因此用户可能会考虑增加这个值。，以减少大型集群的连接累积。 |
| spark.shuffle.io.preferDirectBufs |
true |
(仅适用于Netty)堆外缓冲区用于减少shuffle和cache 块传输期间的垃圾收集。 |
对于堆外内存受到严格限制的环境，用户可能希望关闭这个选项，以强制Netty的所有分配都处于堆上。 |
| spark.shuffle.io.retryWait |
5s |
(Netty only)两次读取之间等待的时间。 |
默认情况下，重试导致的最大延迟为15秒，计算方法为maxRetries * retryWait。 |
| spark.shuffle.manager |
sort |
用于shuffle数据的实现。有两种实现可用:sort 和 hash. |
基于排序的shuffle内存效率更高，从1.2开始就是默认选项。 |
| spark.shuffle.service.enabled |
false |
启用外部shuffle服务。该服务保存了由executors 编写的shuffle文件，以便可以安全地删除executors 。 |
spark.dynamicAllocation.enabled 必须设为"true",必须设置外部shuffle服务才能启用它。详情查看动态分配配置和设置文档 |
| spark.shuffle.service.port |
7337 |
运行外部shuffle服务的端口。 |
|
| spark.shuffle.sort.bypassMergeThreshold |
200 |
(高级)在基于排序的shuffle manager中，如果没有映射端聚合且最多有次参数这么多的reduce分区，避免合并排序数据。 |
|
| spark.shuffle.spill.compress |
true |
是否要压缩在shuffle过程中溢出的数据。压缩将使用spark.io.compression.codec。 |
默认即可~ |
Spark UI相关参数
| 参数名称 |
默认值 |
释义 |
注释 |
| spark.eventLog.compress |
false |
是否压缩已记录的事件 |
spark.eventLog.enabled 为"true" |
| spark.eventLog.dir |
file:///tmp/spark-events |
spark.eventLog.enabled 为"true"，记录Spark事件的基本目录 |
在这个基本目录中，Spark为每个应用程序创建一个子目录，并在这个目录中记录特定于应用程序的事件。用户可能希望将其设置为一个统一的位置，比如一个HDFS目录，以便历史服务器可以读取历史文件。 |
| spark.eventLog.enabled |
false |
是否记录Spark事件 |
对于应用程序完成后重构Web UI非常有用。 |
| spark.ui.killEnabled |
true |
允许从web ui中删除阶段和相应的作业。 |
|
| spark.ui.port |
4040 |
应用程序页面的端口，页面显示内存和工作负载数据。 |
|
| spark.ui.retainedJobs |
1000 |
在垃圾收集之前，Spark UI和status APIs记住了多少作业。 |
|
| spark.ui.retainedStages |
1000 |
在垃圾收集之前，Spark UI和status APIs记住了多少个阶段。 |
|
| spark.worker.ui.retainedExecutors |
1000 |
在垃圾收集之前，Spark UI和status APIs记住了多少已完成的执行器。 |
|
| spark.worker.ui.retainedDrivers |
1000 |
在垃圾收集之前，Spark UI和status APIs记住了多少已完成的驱动程序。 |
|
| spark.sql.ui.retainedExecutions |
1000 |
在垃圾收集之前，Spark UI和status APIs记录执行了多少次。 |
|
| spark.streaming.ui.retainedBatches |
1000 |
在垃圾收集之前，Spark UI和status APIs要记住多少个已完成的批处理。 |
|
压缩和序列化相关参数
| 参数名称 |
默认值 |
释义 |
注释 |
| spark.broadcast.compress |
true |
是否在发送广播变量之前压缩它们。 |
一般来说是个好主意。 |
| spark.closure.serializer |
org.apache.spark.serializer.JavaSerializer |
用于闭包的序列化器类。 |
目前只支持Java序列化器。 |
| spark.io.compression.codec |
snappy |
用于压缩的编解码器 lz4、lzf、 snappy.。 |
可指定编解码器，例如。org.apache.spark.io.LZ4CompressionCodec, org.apache.spark.io.LZFCompressionCodec, and org.apache.spark.io.SnappyCompressionCodec. |
| spark.io.compression.lz4.blockSize |
32k |
在使用LZ4压缩编解码器的情况下,用于LZ4压缩的块大小。 |
当使用LZ4时，降低这个块的大小也会降低洗牌内存的使用。 |
| spark.io.compression.snappy.blockSize |
32k |
在使用Snappy压缩编解码器的情况下,用于Snappy压缩的块大小。 |
当使用Snappy时，降低这个块的大小也会降低洗牌内存的使用。 |
| spark.kryo.classesToRegister |
none |
如果使用Kryo序列化，请提供一个以逗号分隔的自定义类名列表，以便向Kryo注册。 |
有关更多细节，请参阅调优指南。 |
| spark.kryo.referenceTracking |
true (false when using Spark SQL Thrift Server) |
是否在使用Kryo序列化数据时跟踪对同一对象的引用. |
如果对象图具有循环，这是必要的，如果对象图包含同一对象的多个副本，这对于提高效率非常有用。如果您知道情况并非如此，可以禁用它来提高性能。 |
| spark.kryo.registrationRequired |
spark.kryo.registrationRequired |
是否需要向Kryo注册。 |
如果设置为“true”，如果未注册的类被序列化，Kryo将抛出异常。如果设置为false(默认值)，Kryo将与每个对象一起写入未注册的类名。编写类名会导致显著的性能开销，因此启用此选项可以严格确保用户在注册时没有遗漏类。 |
| spark.kryo.registrator |
none |
如果使用Kryo序列化，请用Kryo设置这个类，以便注册自定义类。 |
如果需要以自定义方式注册类，例如指定自定义字段序列化器，则此属性非常有用。否则的话，spark。kryo。classestoregister更简单。它应该被设置为扩展KryoRegistrator的类。有关更多细节，请参阅调优指南。 |
| spark.kryoserializer.buffer.max |
64m |
Kryo序列化缓冲区的允许最大值。它必须大于您试图序列化的任何对象。 |
如果您在Kryo中得到一个"buffer limit exceeded" 异常，请增加这个值。 |
| spark.kryoserializer.buffer |
64k |
Kryo的序列化缓冲区的初始大小。 |
请注意，每个worker上的每个核心都有一个缓冲区。如果需要，这个缓冲区将增长为spark.kryoserializer.buffer.max。 |
| spark.rdd.compress |
false |
是否压缩序列化的RDD分区(例如StorageLevel.MEMORY_ONLY_SER)。 |
可以节省大量空间的代价是一些额外的CPU时间。 |
| spark.serializer |
org.apache.spark.serializer.JavaSerializer |
序列化将通过网络发送或需要以序列化形式缓存的对象的类 |
Java序列化的默认值适用于任何可序列化的Java对象，但是速度非常慢。 |
|
使用Spark SQL Thrift Server时org.apache.spark.serializer.KryoSerializer |
|
所以我们建议使用org.apache.spark.serializer。在需要速度时配置Kryo序列化器。可以是org.apache.spark.Serializer的任何子类。 |
| spark.serializer.objectStreamReset |
100 |
序列化时使用org.apache.spark.serializer.JavaSerializer，序列化器缓存对象以防止写入冗余数据，但是这会停止这些对象的垃圾收集。 |
通过调用'reset'，您可以从序列化器中刷新该信息，并允许收集旧对象。要关闭这个周期复位设置为-1。默认情况下，它将每100个对象重置序列化器。 |
| 本文是我在对spark调优过程中，发现有很多参数没用过甚至没见过，本着学习的心态整理了一份参数说明，此为第一部分，后续的会尽快更新！！！ |
|
|
|
| 转载请注明出处~~~ |
|
|
|
