Master原理

1、主备切换机制原理剖析与源码分析

2、注册机制原理剖析与源码分析

3、状态改变处理机制源码分析

4、资源调度机制源码分析（schedule()，两种资源调度算法）（核心）

一、主备切换机制原理

1、Master主备切换机制：实际上指的就是，在Active Master挂掉之后,切换到Standby Master时， Master会做哪些操作。

2、Master实际上可以配罟两个，Spark原生的standalone模式是支持 Master主备切换，当Active Master节点挂掉的时候，可以将Standby Master切换为Active Master。

3、Spark Master主备切换可以基干两种机制，一种是基于文件系统的，一种是基于ZooKeeper的，基于文件系统的主备切换机制，需要在Active Master挂掉之后，由我们手动去切换到Standby Master上，而基于ZooKeeper的主备切换机制，可以实现自动切换Master。

二、注册机制原理剖析与源码分析

只有在yarn-cluster模式下提交的时候，才会注册Driver，standalone和yarn-client模式都会直接启动Driver， 而不会来不会注册Driver，就更不可能让master调度Driver了

 

Application调度机制：

Application的调度算法有两种：spreadOutApps 和 非spreadOutApps