Yarn调度器和调度算法

  目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

 

  CDH框架默认调度器是Fair Scheduler。

 

具体设置详见：yarn-default.xml文件：

 

<property>

 

    <description>The class to use as the resource scheduler.</description>

 

    <name>yarn.resourcemanager.scheduler.class</name>

 

<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

 

</property>

 

1. 先进先出调度器（FIFO）

 

 

  FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

  优点：简单易懂。

  缺点：不支持多队列，生产环境很少使用。

 

 

 

2. 容量调度器（Capacity Scheduler）

 

  Capacity Scheduler是Yahoo开发的多用户调度器。

 

（1）容器调度器特点

 

 

 

 

 

 

 （2）容器调度器资源分配算法

 

 

 

3.  公平调度器（Fair Scheduler）

  Fair Schedulere是Facebook开发的多用户调度器。

 

（1）公平调度器特点

 

 

（2）公平调度器——缺额

 

 

（3）公平调度器队列资源分配方式

 

 

 

 

 

（4）公平调度资源分配算法，例子

 

 

 

 

（5）公平调度器队列资源分配方式，例子