YARN调度

  1. 理想的世界,一个YARN应用请求将会立刻得到授予。而现实世界,资源是受限制的,在一个忙碌的集群中,一个应用经常需要等待他请求的资源。YARN调度负责这个事情,分配资源给应用通过一些方式定义。调度是一个困难的问题也没有所谓最好的方法。
  2. YARN有三种调度,FIFO,Capacity,Fair Schedulers。FIFO比较好理解,基本就是将请求放在一个队列中,当一个请求满足后,处理第二个请求。但是集群中不太适合使用这个方法,如果一个大的应用使用了很多资源,其他的应用都得等待它的完成。
  3. Capacity则是分成几个特有的队列,Fair方式,则是当小任务来的时候,大的任务分出一些资源先给小任务。
posted @ 2016-03-04 15:35  dalu610  阅读(209)  评论(0编辑  收藏  举报