SPARK调优之资源分配

分配更多资源：性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升，是显而易见的

1、分配哪些资源？ executor、cpu per executor、memory per executor、driver memory

2、在哪里分配这些资源？ 在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数

3、调节到多大，算是最大呢？ 一个原则，能使用的资源有多大，就尽量去调节到最大的大小（executor的数量，几十个到上百个不等；executor内存；executor cpu core）