spark并行度

推荐全局并行度；集群中的 并行度设置为cpu总核心的2~10倍；规划并行度，只看集群总cpu核数

5.spark的任务调度

sparkde任务，由driver进行调度，这个工作包含：逻辑DAG产生、分区DAg产生、task划分、将task分配给executor并监控其工作

DAG调度器：讲逻辑的dAG图进行处理，最终得到逻辑上的task划分

task调度器：基于DAG Scheduler的产出，来规划这些逻辑的task，应该放在那些无力的executor上运行，以及监控管理他们的运行

6.层次关系梳理

    一个spark环境可以运行多个application
    一个代码运行起来，会成为一个application
    application内部可以有多个job
    每个job由一个action产生，并且每个job有自己的DAg执行图
    一个job的dag图会基于宽窄依赖划分成不同的阶段
    不同阶段内基于分区数量，形成多个并行的内存迭代管道
    每一个内存迭代管道形成一个task