摘要：
搭建环境准备：JDK1.6，SSH免密码通信系统：CentOS 6.3集群配置：NameNode和ResourceManager在一台服务器上，三个数据节点搭建用户：YARNHadoop2.2下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/步骤一：上传Hadoop 2.2 并解压到/export/yarn/hadoop-2.2.0外层的启动脚本在sbin目录内层的被调用脚本在bin目录Native的so文件都在lib/native目录配置程序文件都放置在libexec配置文件都在etc目录，对应以前版本的conf目录所有的jar包 阅读全文
摘要：
以下列举出来的是capacity关于queue和user资源使用量相关的参数说明：mapred.capacity-scheduler.queue.xxx.capacity： 队列的资源容量百分比，所有队列的容量之和应小于100mapred.capacity-scheduler.queue.xxx.maximum-capacity： 队列资源的使用上限百分比，最高限制为100%mapred.capacity-scheduler.queue.xxx.minimum-user-limit-percent： 参数值是百分比，此参数会参与计算每个用户可初始化Job数目的上限。ma... 阅读全文
摘要：
以下展示的为JAVA使用jdbc连接MYSQL简单示例： 1 import java.sql.DriverManager; 2 import java.sql.ResultSet; 3 import java.sql.SQLException; 4 5 import com.mysql.jdbc.Connection; 6 import com.mysql.jdbc.Statement; 7 8 public class MysqlDBManager { 9 // 驱动程序名 10 private static String DBDRIVER = "com... 阅读全文
摘要：
读取jar包内的配置文件，可以使用ResourceBundle，具体具体例子如下 1 import java.io.BufferedInputStream; 2 3 import java.io.IOException; 4 5 import java.io.InputStream; 6 7 import java.util.PropertyResourceBundle; 8 9 import java.util.ResourceBundle;10 11 12 13 14 15 public class ReadProperty {16 17 private ResourceBun... 阅读全文
摘要：
Capacity Scheduler调度策略当一个新的job是否允许添加到队列中进行初始化，判断当前队列和用户是否已经达到了初始化数目的上限，下面就从代码层面详细介绍整个的判断逻辑。Capaycity添加一个job，会通过注册的监听器org.apache.hadoop.mapred.JobQueuesManager向队列中添加JOB，添加JOB过程中会检查当前队列和用户是否已经达到资源上限了。下面详细的从源码角度介绍判断的条件： 队列的相关的上限判断条件：(queueWaitingJobs + queueInitializingJobs + queueRunningJobs) >= ma 阅读全文
摘要：
Fair Scheduler调度器同步心跳分配任务的过程简单来讲会经历以下环节： 1、 对map/reduce是否已经达到资源上限的循环判断 2、 对pool队列根据Fair算法排序 3、然后循环pool队列，在pool中的job队列根据Fair算法排序，循环job，选择task 4、如果选择到一个task，跳出pool的循环，然后重新对pool排序，重复步骤2Fair Scheduler调度策略对于pool和job的调度算法都是一致的，先解释在调度算法中的几个重要变量： minshare ： Minimum share slots assigned to the schedulab... 阅读全文