Yarn 资源调度器

什么是资源调度器

理想情况下，我们应用对 Yarn 资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。

在 Yarn 中，负责给应用分配资源的就是 Scheduler（资源调度器）。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn 提供了多种调度器和可配置的策略供我们选择。

Yarn 资源调度器分类

Hadoop Yarn 有三种资源调度器

FIFO Scheduler（先进先出调度器）

FIFO Scheduler 把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。

FIFO Scheduler 是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞，比如有个大任务在执行，占用了全部的资源，再提交一个小任务，则此小任务会一直被阻塞。（生成环境不使用）

Capacity Scheduler（容量调度器）

允许创建多个任务队列，多个任务队列可以同时执行。但是一个队列内部还是先进先出。（Hadoop 默认调度器）

Fair Scheduler（公平调度器）

在Fair调度器中，我们不需要预先占用一定的系统资源，Fair调度器会为所有运行的job动态的调整系统资源。比如第一个程序在启动时可以占用其他队列的资源（100%占用），当其他队列有任务提交时，占用资源的队列需要将资源还给该任务。还资源的时候，效率比较慢。（CDH 版本默认调度器）