摘要：
Capacity Scheduler调度策略当一个新的job是否允许添加到队列中进行初始化，判断当前队列和用户是否已经达到了初始化数目的上限，下面就从代码层面详细介绍整个的判断逻辑。Capaycity添加一个job，会通过注册的监听器org.apache.hadoop.mapred.JobQueuesManager向队列中添加JOB，添加JOB过程中会检查当前队列和用户是否已经达到资源上限了。下面详细的从源码角度介绍判断的条件： 队列的相关的上限判断条件：(queueWaitingJobs + queueInitializingJobs + queueRunningJobs) >= ma 阅读全文
摘要：
Fair Scheduler调度器同步心跳分配任务的过程简单来讲会经历以下环节： 1、 对map/reduce是否已经达到资源上限的循环判断 2、 对pool队列根据Fair算法排序 3、然后循环pool队列，在pool中的job队列根据Fair算法排序，循环job，选择task 4、如果选择到一个task，跳出pool的循环，然后重新对pool排序，重复步骤2Fair Scheduler调度策略对于pool和job的调度算法都是一致的，先解释在调度算法中的几个重要变量： minshare ： Minimum share slots assigned to the schedulab... 阅读全文