YARN High Availablity
1. RM Failover
ResourceManager HA 由一个Active/Standby 架构实现：在任何时间点，仅有一个RM是Active，其他一个（或多个）RM节点处于Standby 模式，在Active RM发生故障后，Standby RM 取代它并接管Active的工作。触发转换成active的操作可以由管理命令完成，或是自动由内置的failover-controller完成（需要开启automatic-failover的功能）。
2. 手动转换与failover
当自动failover没有开启时，管理员需要手动将RM的状态转为Active。为了完成failover，首先需要将Active-RM 转换为Standby，然后将Standby-RM 转换为Active。这些均可以通过 yarn rmadmin 命令完成。
3. 自动failover
RMs可以配置一个内置的，基于 Zookeeper 的ActiveStandbyElector，用于决定哪个RM应该是Active的。当Active RM 出现故障下线，或者无法响应了，另一个RM会被自动推选为Active，并接管之后的工作。需要注意的是，这里没有必要像 HDFS HA 那样运行一个额外的ZKFC守护进程，因为ActiveStandbyElector 内置于RM，担任failure detector以及leader elector的角色，可以替代ZKFC守护进程
4. 客户端，ApplicationMaster 以及 NodeManager 与RM failover
当集群中有多个RM时，客户端以及节点所使用的 yarn-site.xml配置文件中，需要列出所有的RMs。客户端，AM以及NM会尝试以轮询的方式去连接RMs，直到命中Active RM。如果Active RM 下线了，则它们会重新尝试轮询，直到命中新的Active RM。默认的重试逻辑由org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider.可以通过实现org.apache.hadoop.yarn.client.RMFailoverProxyProvider类并设置参数 yarn.client.failover-proxy-provider 为实现的类名，以覆盖默认的实现。
5. 恢复前一个active-RM 的状态
在ResourceManager Restart的功能开启后，RM可以被提升为active 状态。加载RM的内部状态数据，并尽可能地从前一个active RM 终止的点继续工作（依赖于RM restart的功能）。对于前Active RM 管理的每个提交的application，均会发起一个新的attempt。Applications可以定期做checkpoint，以防止丢失任何工作。存储的RM 应用状态的 state-store 必须均可被Active/Standby RM 访问。对于状态数据持久化，当前有两种实现RMStateStore 的方式：FileSystemRMStateStore 和 ZKRMStateStore。ZKRMStateStore 在任何时刻仅允许一个RM 拥有写权限，所以它时在HA集群中被推荐使用的方式。在使用ZKRMStateStore时，没有必要再单独增加一个fencing机制（此机制防止可能的脑裂状态），因为多个RM可以自行assume the Active role。
在使用ZKRMStateStore时，建议不要在Zookeeper中设置zookeeper.DigestAuthenticationProvider.superDigest 属性，以确保zookeeper admin 没有访问 yarn application/user credential 信息的权限。
6. 部署
下面是YARN HA 有关配置项：
1. yarn.resourcemanager.zk-address
ZK-quorum的地址，用于state-store以及embedded leader-election
2. yarn.resourcemanager.ha.enabled
Enable HA
3. yarn.resourcemanager.rm-ids
列出RMs的逻辑 id，如：
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2,rm3</value>
</property>
4. yarn.resourcemanager.hostname.rm-id
对每个 rm-id，设置它对应的RM hostname，如：
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>xx.xx.xx.xx</value>
</property>
5. yarn.resourcemanager.address.rm-id
对每个rm-id，指定host:port地址，用于客户端提交job。在指定后，会覆盖 yarn.resourcemanager.hostname.rm-id 里的内容，例如：
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>ip-xx.xx.xx.xx:8032</value>
</property>
6. yarn.resourcemanager.ha.automatic-failover.enabled
开启自动failover功能，仅当HA功能开启后才开启此功能
7. yarn.resourcemanager.ha.automatic-failover.embedded
使用内置的 leader-elector 选择Active RM，仅当 HA 功能开启后才开启此功能
8. yarn.resourcemanager.cluster-id
集群标识符，elector 使用此属性以确保某个RM不会接管另一集群的工作，例如：
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>ha-rm-uri</value>
</property>
7. 管理命令
yarn rmadmin 提供了部分 HA 相关的命令，用于检查RM 的健康状态，并转换某个RM的状态到Active/Standby。命令接受的 RM id为配置文件中 yarn.resourcemanager.ha.rm-ids 中指定的id。
常规命令如：
> yarn rmadmin -getServiceState rm1
standby
> yarn rmadmin -getServiceState rm3
active
> yarn rmadmin -getAllServiceState
ip-x.x.x.x:8033 standby
ip-y.y.y.y:8033 standby
ip-z.z.z.z:8033 active
如果开启了自动failover的功能，则无法手动做transition。不过仍可以通过加上 -forcemanual 的标识进行强制手动failover（不建议）：
> yarn rmadmin -transitionToActive rm1
Automatic failover is enabled for org.apache.hadoop.yarn.client.RMHAServiceTarget@1ea9f6af
Refusing to manually manage HA state, since it may cause
a split-brain scenario or other incorrect state.
If you are very sure you know what you are doing, please
specify the --forcemanual flag.
也可以在zookeeper 里查看对应 active 的 RM
> get /yarn-leader-election/ha-rm-uri/ActiveBreadCrumb
ha-rm-uri
rm1
> get /yarn-leader-election/ha-rm-uri/ActiveStandbyElectorLock
ha-rm-uri
rm1
8. Web Service and UI
在 standby RM 也是正常运行的情况下，在访问standby RM 的 web UI 地址时，会自动转发请求到Active 的 RM，除了“About”页面
对于发往standby RM 的 Yarn Web Service （如 yarn REST APIs）的请求，standby RM 也会自动重定向到Active 的 RM
References：
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
