spark内存调优

https://blog.51cto.com/14048416/2338730

1.spark的内存模型

 （1）在介绍spark的应用程序时，spark集群会启动driver和executor两种JVM进程。

       driver为主控进程，负责创建sparkContext上下文对象，提交spark作业，并将作业转换为计算任务，在各个executor进程间协调任务的调度

       executor进程，负责为工作节点执行具体的计算任务，并将结果返回给driver，同时需要持久化RDD提供存储功能。