Hadoop YARN

1.Yarn资源调度器

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

1.Yarn基础架构

Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

1.ResourceManager（RM）

ResourceManager（RM）主要作用如下：

  1. 处理客户端请求
  2. 监控NodeManager
  3. 启动或监控ApplicationMaster
  4. 资源的分配与调度
2.NodeManager(NM)

NodeManager(NM)主要作用如下：

  1. 管理单个节点上的资源
  2. 处理来自ResourceManager的命令
  3. 处理来自ApplicationMaster的命令
3.ApplicationMaster（AM）

ApplicationMaster（AM）作用如下：

  1. 为应用程序申请资源并分配给内部的任务
  2. 任务的监控与容错
4.Container

Container是Yarn中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

2.Yarn工作机制

  1. MR程序提交到客户端所在的节点
  2. YarnRunner向ResourceManager申请一个Application
  3. RM将该应用程序的资源路径返回给YarnRunner
  4. 该程序将运行所需资源提交到HDFS上。
  5. 程序资源提交完毕后，申请运行mrAppMaster。
  6. RM将用户的请求初始化成一个Task。
  7. 其中一个NodeManager领取到Task任务。
  8. 该NodeManager创建容器Container，并产生MRAppmaster。
  9. Container从HDFS上拷贝资源到本地。
  10. MRAppmaster向RM 申请运行MapTask资源。
  11. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
  12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
  13. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
  14. ReduceTask向MapTask获取相应分区的数据。
  15. 程序运行完毕后，MR会向RM申请注销自己。

3.作业提交全过程

  1. 作业提交
    1. Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
    2. Client向RM申请一个作业id。
    3. RM给Client返回该job资源的提交路径和作业id。
    4. Client提交jar包、切片信息和配置文件到指定的资源提交路径。
    5. Client提交完资源后，向RM申请运行ApplicationMaster。
  2. 作业初始化
    6. 当RM收到Client的请求后，将该job添加到容量调度器中。
    7. 某一个空闲的NM领取到该Job。
    8. 该NM创建Container，并产生ApplicationMaster。
    9. 下载Client提交的资源到本地。
  3. 任务分配
    10. ApplicationMaster向RM申请运行多个MapTask任务资源。
    11. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
  4. 任务运行
    12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
    13. ApplicationMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
    14. ReduceTask向MapTask获取相应分区的数据。
    15. 程序运行完毕后，MR会向RM申请注销自己。

4.Yarn调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。
Apache Hadoop3.3.6默认的资源调度器是Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler
具体设置详见：yarn-default.xml文件

  <property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  </property>
1.先进先出调度器（FIFO）

FIFO调度器（First In First Out）:单队列，根据提交作业的先后顺序，先来先服务。
优点：简单易懂。
缺点：不支持多队列，生产环境很少使用。

2.容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器

  1. 多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略
  2. 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。
  3. 灵活性：如果一个队列中的资源有剩余，可以暂时共享给哪些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
  4. 多租户：
    a: 支持多用户共享集群和多应用程序同时运行。
    b: 为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源进行限定。
1.分配算法
  1. 队列资源分配
    从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源
  2. 作业资源分配
    默认按照提交作业的优先级和提交时间顺序分配资源
  3. 容器资源分配
    按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
    1. 任务和数据在同一节点
    2. 任务和数据在同一机架
    3. 任务和数据不在同一节点也不在同一机架
3.公平调度器(Fair Scheduler)

Fair Scheduler是Fackbook开发的多用户调度器。
特点：
同队列所有任务共享资源，在时间尺度上获得公平的资源。

  1. 与容量调度器相同点：
    1. 多队列：支持多队列多作业
    2. 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限。
    3. 灵活性：如果一个队列中的资源有剩余，可以暂时共享给哪些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
    4. 多租户：
      a: 支持多用户共享集群和多应用程序同时运行。
      b: 为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源进行限定。
  2. 与容量调度器不同点
    1. 核心调度策略不同
      • 容量调度器：优先选择资源利用率低的队列
      • 公平调度器：优先选择对资源的缺额比例大的
    2. 每个队列可以单独设置资源分配方式
      • 容量调度器：FIFO、DRF
      • 公平调度器：FIFO、FAIR、DRF
        公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源和差距叫"缺额"
        调度器会优先为缺额大的作业分配资源
1.公平调度器队列资源分配方式
  1. FIFO策略
    公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面的容量调度器。
  2. Fair策略
    Fair策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
    具体资源分配流量和容量调度器一致：
    1. 选择队列
    2. 选择作业
    3. 选择容器
      以上三步，每一步都是按照公平策略分配资源
    • 实际最小资源份额：mindshare = Min(资源需求量,配置的最小资源)
    • 是否饥饿：isNeedy = 资源使用量 < mindshare(实际最小资源份额)
    • 资源分配比：minShareRatio = 资源使用量 / Max(mindshare,1)
    • 资源使用权重比：useToWeightRatio = 资源使用量 / 权重
  3. DRF策略
    DRF（Dominant Resource Fairness），我们说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。
    在Yarn中，用DRF来决定如何调度：
    假设集群一共有100 CPU和10T内存，而应用A需要（2 CPU,300GB），应用B需要（6 CPU,100GB）。则两个应用分别需要A(2% CPU,3%内存)和B(6% CPU,1%内存)的资源，这就意味着A是内存主导的，B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。
posted @ 2023-12-16 21:02  SpringCore  阅读(21)  评论(0)  编辑  收藏  举报