执行启动命令 jar 、wordcount
sparkSubmit:
yarnclient ->submitApplication-> ResourceManage
bin/java 在NodeManager 启动进程，ApplicationMaster
ApplicationMaster进程启动后，需要向ResourceManage注册ApplicationMaster
ApplicationMaster：
// userclass wordCount
//主线程main创建driver线程， 等待driver线程创建sc
//-》driver线程创建sc后 阻塞
//-》主线程申请计算所需资源，创建完成后恢复driver
//-》driver线程和主线程合二为一， driver线程 里的userClass.join()
主线程和driver线程交互执行
ApplicationMaster 向resourceManage 申请资源，返回可以运行的containers
根据container 的位置在 对应的NodeManger 用命令方式启动container，每个container 启动一个excutor
driver里的schedulerBacked 和 excutor 里的 Excutorbackend 互相通信,用于driver给excutor发送任务
启动完excutor ，注册excutor
创建计算对象，进行任务的划分和阶段划分，每一个任务由一个线程执行，这些线程在线程池里面
一般任务数是核数的2-3倍
一个行动算子 就是一个job
driver 负责excutor之间的任务调度
excutor 负责任务的执行，会存储rdd 和 广播变量
driver 和excutor 通信是通过rpc，rpc是进程间通信协议
netty 通信框架
BIO：block IO
NIO：non block IO，new IO
netty 使用了AIO，异步非阻塞IO
具体通信流程：
driver的transportClinent 发送数据给 excutor 的transportSever
放入inbox，经过终端处理，放入outbox，然后outbox内部的transportClinent
连接driver 的transportSever 返回数据，inbox和outbox底层都是链表
spark的任务调度：
一个行动算子是一个job
一个job根据shuffle 划分阶段
task 是依据stage的最后一个rdd的分区数
公平调度器，如果一个队列任务执行比例低，下次调度任务时，优先调度
本地化调度：
RDD的首选位置，计算发给哪个位置更好
RDD存储级别：process_local,
node_local,
rack_local(机架本地化)，
没有级别,
any
spark shuffle:
影响shuffle的点： 1 磁盘
2 缓冲区(参数配置)，读取缓冲区默认48M，当task数量比较多，可能需要调小
3 数据量(先filter 或者reduceByKey 数据量少 ，shuffle性能高)
4 写文件的方式
下游的多个task访问上游一个task产生的同一个溢写文件，可能冲突
解决方案：溢写文件存多份，
溢写文件数量和下游的task数量相等，
每个task单独访问
上述方案出现的问题：核数多了后，小文件过多
优化方案：一个cpu 核的所有task共享溢写文件，
溢写文件数量和下游的task数量相等
上述方案当机器数多了后，仍然小文件过多
解决方案：一个机器的一个核存一份溢写文件
该溢写文件分数据文件和索引文件，
其中数据文件是分区排序的
serializedShuffle
解释：一个对象序列化后，放入内存，可以经过压缩，这样方便传输，也可以存放更多的对象
1）支持重定位的序列化，为了防止内存碎片，kryo序列化支持，java序列化不支持
2）分区数不能大于16777216
3）不能有预聚合
sortshuffle:
reduceByKey 就是这种shuffle
if (has预聚合){
会有外部聚合器
会对key排序，这样数据查找速度快
只需要对map的value进行合并
map的底层是k,v 连起来的数组，可以看作c++的结构体数组
用数组的原因是key是排序好的，可以通过索引及二分查找法快速定位
扩展：环形缓冲区溢写前是对索引进行排序，数据不动，
这样只需要对内存的部分数据进行排序，就可以对所有数据进行排序
溢写条件：
数据量是32的倍数，并且数据量大于5M，此时会申请内存
当预估大小大于申请后的内存，需要进行溢写
当元素个数大于INT 的最大值，强制溢写
最终需要对这些临时溢写文件进行归并排序（如果能忽略，可以提高性能）
如果只有内存中有数据，那么只需要对内存数据排序，然后写文件
如果有溢写文件，需要merge，将内存数据和溢写文件合并，
最终合并成一个索引文件和一个排序好的数据文件
}
else{
存放分区，k，v
}
bypass sortshuffle:
忽略归并排序的shuffle
条件：1） 不能有预聚合功能 ，有预聚合的算子
reduceByKey，foldByKey，combineByKey，aggregateByKey
groupBykey没有
2）分区数量必须小于阈值，默认是200
为什么能忽略归并排序：
写分区数量个文件，然后直接按照分区顺序合并成一个文件，
同时创建这个文件的索引文件
注意溢写文件多的时候用bypass sortshuffle 才合适，因为当内存足够大时，
有可能sortshuffle 不溢写文件，工作中需要把bypass 阈值设高一点
默认200，可以设为500
spark 内存管理：
spark的结果可以把中间的计算过程通过内存传递
jvm 默认启动的时候是当前可用内存的1/64，最大是1/4
堆外内存是从操作系统申请的，不受gc控制，由程序自己控制
kafka 数据文件是0拷贝技术，索引文件是虚拟内存映射
executor 内存分3部分，分别是storage(30%)，
execution(30%)，
other(40%)，
预留300M内存,防止内存溢出
rdd，catche 保存在存储内存
shuffle 需要使用执行内存
元数据信息保存在other
执行内存和存储内存有动态占用机制
