yarn架构原理
初步了解YARN的架构及原理
YARN 产生背景
MapReduce存在的问题：
1）JobTracker 单点故障。
2）JobTracker 承受的访问压力大，影响系统的扩展性。
3）不支持MapReduce之外的计算框架，比如Storm、Spark、Flink
什么是YARN
YARN 是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。核心思想：
将MR1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程来实现。
1）ResourceManager：负责整个集群的资源管理和调度。
2）ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等。
YARN的出现，使得多个计算框架运行在一个集群当中。
1）每个应用程序对应一个ApplicationMaster。
2）目前可以支持多种计算框架运行在YARN上面，比如MapReduce、Storm、Spark、 Flink
YARN的基本架构
从 YARN 的架构图来看，它主要由ResourceManager、NodeManager、ApplicationMaster和Container等以下几个组件构成。
ResourceManager（RM）
RM 是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：
调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。
YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager 将各个资源部分（计算、内存、带宽等）精心安排
给基础 NodeManager（YARN 的每节点代理）。ResourceManager 还与 ApplicationMaster 一起分配资源，与 NodeManager 一起启动和监视它们的基础应用程序。在此上下文中，ApplicationMaster 承担了以前的 TaskTracker 的一些角色， ResourceManager 承担了 JobTracker 的角色。
（1）调度器
调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作。
（2）应用程序管理器
应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。
ApplicationMaster（AM）
ApplicationMaster 管理一个在 YARN 内运行的应用程序的每个实例。ApplicationMaster负责协调来自 ResourceManager 的资源，并通过 NodeManager 监视容器的执行和资源
使用（CPU、内存等的资源分配）。请注意，尽管目前的资源更加传统（CPU 核心、内存），但未来会带来基于手头任务的新资源类型（比如图形处理单元或专用处理设备）。从
YARN 角度讲，ApplicationMaster 是用户代码，因此存在潜在的安全问题。YARN 假设
ApplicationMaster 存在错误或者甚至是恶意的，因此将它们当作无特权的代码对待。
NodeManager（NM）
NodeManager 管理一个 YARN 集群中的每个节点。NodeManager 提供针对集群中每个
节点的服务，从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1 通过插槽管理 Map 和 Reduce 任务的执行，而 NodeManager 管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN 继续使用 HDFS 层。它的主要 NameNode 用于元数据服务，而 DataNode 用于分散在一个集群中的复制存储服务。
NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它接收并处理来自AM的Container启动/停止等各种请求。
Container
Container 是 YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。
要使用一个 YARN 集群，首先需要来自包含一个应用程序的客户的请求。
ResourceManager 协商一个容器的必要资源，启动一个 ApplicationMaster 来表示已提交
的应用程序。通过使用一个资源请求协议，ApplicationMaster 协商每个节点上供应用程序使用的资源容器。执行应用程序时，ApplicationMaster 监视容器直到完成。当应用程序完
成时，ApplicationMaster 从 ResourceManager 注销其容器，执行周期就完成了。
通过上面的学习，应该明确的一点是，旧的 Hadoop 架构受到了 JobTracker 的高度约束， JobTracker 负责整个集群的资源管理和作业调度。新的 YARN 架构打破了这种模型，允许
一个新 ResourceManager 管理跨应用程序的资源使用，ApplicationMaster 负责管理作业
的执行。这一更改消除了一处瓶颈，还改善了将 Hadoop 集群扩展到比以前大得多的配置的
能力。此外，不同于传统的 MapReduce，YARN 允许使用 Message Passing Interface 等
标准通信模式，同时执行各种不同的编程模型，包括图形处理、迭代式处理、机器学习和一般集群计算。
YARN 的工作原理
MapReduce On YARN
1）YARN 负责资源管理和调度。
2）ApplicationMaster负责任务管理。
MapReduce ApplicationMaster
1）MRAppMaster
2）每个MapReduce作业启动一个MRAppMaster
3）MRAppMaster负责任务切分、任务调度、任务监控和容错等。
MRAppMaster任务调度
1）YARN 将资源分配给MRAppMaster
2）MRAppMaster 进一步将资源分配给内部任务
MRAppMaster容错
1）MRAppMaster运行失败后，由YARN重新启动
2）任务运行失败后，MRAppMaster重新申请资源
YARN HA
ResourceManager HA 由一对Active，Standby结点构成，通过RMStateStore存储内部数
据和主要应用的数据及标记。目前支持的可替代的RMStateStore实现有：基于内存的
MemoryRMStateStore，基于文件系统的FileSystemRMStateStore，及基于zookeeper的ZKRMStateStore。 ResourceManager HA的架构模式同NameNode HA的架构模式基本一致，数据共享由RMStateStore，而ZKFC成为 ResourceManager进程的一个服务，非独立存在。
总结
1、有关yarn说法正确
A、YARN将资源管理和应用程序管理两部分分剥离开，ResouceManager专管资源管理和调度，而
ApplicationMaster则负责与具体应用程序相关的任务切分、任务调度和容错等
B、YARN具有向后兼容性，用户在MRv1上运行的作业，无需任何修改即可运行在YARN之上。
C、YARN是一个计算框架
D、YARN对于资源的表示以内存为单位，比之前以剩余 slot 数目更合理。
解析：
YARN支持多个框架，它不再是一个单纯的计算框架，而是一个框架管理器，用户可以将各种各样的计算框架移植到YARN之上，由YARN进行统一管理和资源分配，由于将现有框架移植到YARN之上需要一定的工作量，当前YARN仅可运行MapReduce这种离线计算框架。
2、说法正确
A、ApplicationMaster 承担了以前的 TaskTracker 的一些角色，ResourceManager 承担了 JobTracker 的角色。
B、ApplicationMaster 管理一个在 YARN 内运行的应用程序的每个实例。ApplicationMaster 负责协调来自
ResourceManager 的资源，并通过 NodeManager 监视容器的执行和资源使用（CPU、内存等的资源分配）。
C、 NodeManager 管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。
D、YARN 继续使用 HDFS 层。它的主要 NameNode 用于元数据服务，而 DataNode 用于分散在一个集群中的复制存储服务。
原文链接：https://blog.csdn.net/zhanaolu4821/article/details/82024215
