Spark2.0.0内存管理

来源：http://spark.apache.org/docs/2.0.0/configuration.html

spark中的内存使用主要分为两类：执行和存储。执行内存指的是用于shuffles、join、sorts 和aggregations中的计算的内存，而存储内存指的是用于在集群中cache和广播变量数据的内存。

 

在Spark中，执行和存储共享一个统一的区域（M）。当不使用执行内存时，存储可以获取所有可用内存，反之亦然。执行可以在必要时清理存储内存，但只能在总存储内存使用量低于某个阈值（R）之前执行。换句话说，R描述了M中的一个子区域，其中缓存的块永远不会被移出。由于实现的复杂性，存储可能无法收回执行。

这种设计确保了几种理想的特性。首先，不使用缓存的应用程序可以使用整个空间来执行，从而避免不必要的磁盘溢写。第二，确实使用缓存的应用程序可以保留一个最小的存储空间（R），使其数据块不会被逐出。最后，这种方法为各种工作负载提供了合理的开箱即用的性能，而不需要用户了解内存如何在内部划分。

名称	默认值	说明
spark.memory.fraction	0.6	实际大小：（heap space - 300MB）* 0.6，用于存储和执行。（剩下的0.4用于Task计算） 这个值越小，发生溢写和缓存清理的频率就越高。 此配置的目的是为内部元数据、用户数据结构和不精确的大小估计预留内存，以防出现稀疏、异常大的记录。 建议保留默认配置。
spark.memory.storageFraction	0.5	不受缓存清理影响存储内存。 是spark.memory.fraction的一部分。 这个值越大，工作内存就越小，越容易发生溢写磁盘。 建议保留默认配置
spark.memory.offHeap.enabled	false	设为true，将使用堆外内存，同时spark.memory.offHeap.size必须要设置值
spark.memory.offHeap.size	0	可用于堆外分配的绝对内存量。 此设置对堆内存使用没有影响，因此，如果executor的总内存消耗必须在某个固定的限制内，那么一定要相应地减少JVM堆大小。
spark.memory.useLegacyMode	false	​是否启用Spark 1.5及之前使用的内存管理模式。 静态内存管理模式将堆空间严格划分为固定大小的区域，如果不调整应用程序，可能会导致溢出。
spark.shuffle.memoryFraction	0.2	spark.memory.useLegacyMode为true时才生效。用于shuffle的聚合。
spark.storage.memoryFraction	0.6	spark.memory.useLegacyMode为true时才生效。用于内存缓存。不应大于JVM中“老年代”对象。
spark.storage.unrollFraction	0.2	spark.memory.useLegacyMode为true时才生效。用于在内存中展开块。