YARN 调度器

YARN 调度器


1、FIFO(先进先出调度器)

单队列,任务独占所有资源,先进先出;

优点:简单不需配置;

缺点:大集群中大小任务都会阻塞;

 


2、Capacity(容量调度器)

多队列(单队列FIFO),支持配额,弹性队列,延迟调度(等待别的队列容器释放而非抢占)

优点:相比FIFO更适用于集群

缺点:单个队列仍是FIFO

 

 

 

 


3、Fair(公平调度器)

多队列(单队列 Fair/FIFO/DRF),支持配额,弹性队列,延迟调度,支持抢占

优点:单队列默认Fair,任务动态公平分配

缺点:相对其他调度器复杂

 

 

 

 

 

 

3.1、Fair Share说明

Instantaneous Fair Share:瞬时公平分配

Steady Fair Share:固定公平分配

 

steady fair share,是一个静态值,是Yarn根据每个队列的minShare、maxShare和weight的配置计算得到的理论上应该分配给这个队列的最大资源,它与这个队列当前是否有app正在运行无关,只和我们在fair-scheduler.xml中的配置有关。

Instaneous fair share则不同,它是根据当前集群中队列的运行状态的变化而实时变化的,即,如果一个队列上没有任何一个app在运行,即这个队列是inactive队列,那么,这个队列的instaneous fair share值是0,剩余的active队列会对集群资源进行瓜分,显然,如果集群中有队列从active变为inactive,那么剩余这些队列瓜分到的instaneous fair shared都会随之变大,反之,如果有一个队列从inactive变为active,则剩余每个队列的instaneous fair share会随之变小,即instaneous fair share会变小。

3.2、Fair Share资源计算

FairShare和SteadyFairShare的计算思想为: 先找到一个比值R,则各个队列应分配的资源分为如下三种情况:

  • 当队列S的minShare > R*weight,则分配minShare

  • 当队列S的maxShare < R*weight,则分配maxShare

  • 其它情况直接分配R*weight 这些分配的总和等于totalSlots。这个比值R也称为weight-to-slots,因为其值将队列的weight转换为实际的资源个数。

 

简单评估队列分配资源值:

Steady FairShare的计算公式是

totalResources(集群总资源)/weights(所有队列的weight总和)*weight(某个队列的weight)

FairShare的计算公式是

totalResources(集群总资源)/activeWeights(active队列的weight总和)*activeWeight(active队列的weight)

 

更具体的计算方法见参考


 

4、调度器选择

大部分情况下公平调度+多队列适合绝大部分场景(资源限额+动态分配),如果只是简单测试使用不用配置,默认的FIFO就满足。

 


5、其他问题

待补充


6、参考

YARN源码分析之Fair Scheduler part1

Hadoop Yarn调度器的选择和使用

Yarn FairSheduler使用FairSharePolicy计算Fair Share的规则、原理和代码实现

posted @ 2020-04-16 12:10  heaventouch  阅读(925)  评论(0编辑  收藏  举报