Yarn介绍
一，介绍
yarn是一种通用的资源管理系统和调度平台。
资源管理系统 ：管理集群内的硬件资源，和程序运行相关，比如内存，CPU等。
调度平台：多个程序同时申请计算资源时提供分配，调度的规则（算法）。
通用：不仅仅支持MapReduce程序，理论上支持各种计算程序如spark，flink。yarn不关系程序的计算内容，只关心程序所需的资源，在程序申请资源的时候根据调度算法分配资源，计算结束之后回收计算资源。使用yarn作为资源调度平台的计算框架自身需要提供ApplicationMaster来负责计算任务的调度。
二， yarn 框架
YARN主要由ResourceManager、NodeManageApplicationMaster（AM）和Container等组件构成
1） ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度；
2）NodeManager(nm)：单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令；
3）ApplicationMaster：数据切分、为应用程序申请资源，并分配给内部任务、任务监控与容错。
4）Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。
三，ResourceManager
ResourceManager全局资源管理器由两部分组成，分别为Scheduler 和 ApplicationsManager。
3.1，ApplicationsManager
主要的负责接收client端传输的job请求，为应用（如 mapreduce程序）分配第一个Container（资源池）来运行我们的ApplicationsMaster；负责监控ApplicationMaster，并且在遇到失败的时候重启ApplicationMaster。
3.2，Scheduler
调度器负责将资源分配给各种正在运行的应用程序，这些应用程序受到容量、队列等常见的限制。调度器是纯粹的调度器，它不监视或跟踪应用程序的状态。此外，它也不能保证重启失败的应用程（由ApplicationManager负责）。调度器根据应用程序的资源需求执行其调度功能；它是基于Container的抽象概念来实现资源调度的，Scheduler通过给任务分配Container的方式来分配资源。
调度器是可插拔的，常用的调度器有CapacityScheduler和FairScheduler。
四，NodeManager
NodeManager节点资源管理器，是每台机器的框架客户端/代理，负责Container容器管理，监控他们的资源使用，并汇报给ResourceManager/Scheduler。
Container： NodeManager将节点中的资源切分出来组成一个个可以单独运行任务（map，reduce）的Container容器，用来运行任务。容器中资源目前只支内存、cpu。一个Container类似于开辟了一个虚拟机，一个NodeManager中可以分配一个或者多个Container。Container底层使用了轻量级资源隔离机制Cgroups进行资源隔离（docker底层好像也是使用了Cgroups）。
Container是Yarn集群分配资源的基本单位。
五，ApplicationMaster
ApplicationMaster运行在NodeManager的Container中，并且是应用程序申请到的第一个Container。它负责一个应用程序中具体任务的执行，比如mapreduce应用的map任务，reduce任务，每一个应用都有一个ApplicationMaster，它受ApplicationsManager管理，ApplicationMaster进程如果非正常死亡，ApplicationsManager可以重启它。
主要功能：
1，与ResourceManager中的Scheduler 协商获取执行资源。
2，与NodeManager通讯以启动，停止任务
3，监控所属的任务的执行。
六，客户端提交任务到yarn中运行的流程。
（1）Mr程序提交到客户端所在的节点。
（2）Yarnrunner向Resourcemanager申请一个Application。
（3）rm将该应用程序的资源路径返回给yarnrunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个task。
（7）其中一个NodeManager领取到task任务。
（8）该NodeManager创建容器Container，并产生MRAppmaster。
（9）Container从HDFS上拷贝资源到本地。
（10）MRAppmaster向RM 申请运行maptask资源。
（11）RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
（13）MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。
（14）reduce task向maptask获取相应分区的数据。
（15）程序运行完毕后，MR会向RM申请注销自己。
七，资源调度器
目前，Hadoop作业调度器主要有三种：FIFO、Capacity Scheduler和Fair Scheduler。
FIFO:先进先出调度器- ->一个队列，按到达时间排序，先到先服务
Capacity Scheduler:容量调度器- ->多个队列，按到达时间排序，先到先服务
Fair Scheduler:公平调度器- ->多个队列，按照缺额排序，缺额大者有先
配置文件 yarn-site.xml文件
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.**CapacityScheduler**</value>
</property>
