SPARK调优之本地化级别

Spark在Driver上对Application的每个task任务进行分配之前，都会先计算出每个task要计算的对应的数据分片的位置。Spark的task分配算法优先考虑将task分配到分片数据所在的节点，以此来避免网络间数据传输带来的性能消耗。但是在实际的生产环境，有可能某些task没有机会分配到其所要计算的数据所在的节点；因为某些节点的计算资源都已经被占用完了；在这个时候，task会等待一段时间，默认情况是3s，等待时间过了以后，还是没有轮到其执行，task就会去选择一种比较差的本地化级别去执行

• PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor执行，数据在executor的BlockManager中；性能最好

  

• RACK_LOCAL：机架本地化，数据和task在一个机架的两个节点上；数据需要通过网络在节点之间进行传输

• NODE_LOCAL：节点本地化，代码和数据在同一个节点中；比如说，数据作为一个HDFSblock块，就在节点上，而task在节点上某个executor中运行；或者是，数据和task在一个节点上的不同executor中；数据需要在进程间进行传输

• ANY：数据和task可能在集群中的任何地方，而且不在一个机架中，性能最差

 

• NO_PREF：对于task来说，数据从哪里获取都一样，没有好坏之分