spark性能调优之五：数据计算本地化

spark在driver上，对application的每一个stage的task，进行分配之前都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；spark的task分配算法，优先会希望每个task正好分配到它要计算的数据所在的节点，这样就不用在网络间传输数据；

但是，如果节点的计算资源和计算能力都满了，那么task就没有机会分配到它数据所在的节点。这种时候，spark会等待一段时间，默认是3s，到最后，实在等不了，就会选择一个比较差的本地化级别，比如将task分配到离计算数据所在节点教近的节点。

通常情况下，肯定要发生数据传输，task会通过其所在节点的BlockManager来获取数据，BlockManager发现自己本地没有数据，会通过一个getRemote()方法，通过TransferService（网络数据传输组件）从数据所在节点的BlockManager中，获取数据，通过网络传输回task所在节点。

数据本地化级别如下：

PROCESS_LOCAL：进程本地化，代码和数据在同一进程中，也就是在同一个executor中；计算数据的task由executor执行，数据在executor的BlockManager中性能最好

NODE_LOCAL：节点本地化，代码和数据在同一个节点中；比如说，数据作为一个HDFS block块，task在节点上某个executor中运行；或者说数据和task在一个节点上的不同executor中；数据需要在进程间进行传输

NO_PREF：对于task来说，数据从哪里获取都一样，没有好坏之分

RACK_LOCAL：机架本地化，数据和task在一个机架的两个节点上；数据需要通过网络在节点之间进行传输

ANY：数据和task可能在集群中的任何地方，而且不在一个机架中，性能最差

 

那么如何优化数据本地化，提升级别呢？通过调节数据本地化等待时长。即设定spark.locality.wait，默认是3s，适当提升时长，再在log或webUI中查看是否提升了数据本地化级别。具体代码是

new SparkConf().set("spark.locality.wait","10")

最后还要看整个spark作业的运行时间有没有缩短，如果提升了本地化级别，但因为大量的等待时长，spark作业的运行时间反而增加了，那就还是不要调节了。