Hbase分布式安装

HBase安装笔记

目标

在两台机器上安装Hadoop和HBase作为实验，两台机器分别作为主从。

背景环境

• 对Hadoop,HBase有一定了解
• Fedora14
• JDK 1.6.0_31
• Hadoop 0.20.205.0
• HBase 0.90.5

安装Hadoop

参考：

拓扑结构：两台机器，主机名分别为：summer1,summer2,

                 summer1为NameNode + JobTracker + DataNode + TaskTracker, summer2仅为DataNode + TaskTracker

1. 一定要下载 0.20.205.0 以后版本，合并了可以和 HBase 兼容的代码分支 0.20-append。 启动的时候会报很多Warning $HADOOP_HOME deprecated blahblah，不需理会。
2. 如果用 bin/start-all 偷懒方式启动，有可能因为配置错误什么的导致某些服务起不来，但不会有任何错误提示。最好使用 netstat -nlp | grep java 看下端口号50030, 50010, 50070, 还有JobTracker的自定义端口是否已经被监听了，如果没有，可以用对应的启动脚本单独启动，这样会输出具体的错误。

安装HBase

前提：必须已经正确安装了Hadoop，但可以不启动JobTracker，HBase有自己的MapRed

拓扑结构：summer1为master， summer2均为regionserver

主要参考：

• 官方文档 http://hbase.apache.org/book.html

安装步骤：

     1.解压hbase-0.90.5.tar.gz到usr/local/hbase。

     2.设置环境变量，如下：   

export JAVA_HOME=/usr/local/java/jdk1.6.0_31
export JRE_HOME=/usr/local/java/jdk1.6.0_31/jre
export CLASS_PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASS_PATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_PID_DIR=$HADOOP_HOME/run/tmp

#hbase环境变量－－－－－－－－－－－－－－－－－－－－－－－
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_PID_DIR=$HBASE_HOME/run/tmp
#－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

   

3.修改hbase-env.sh   ，只需要改动下面列出的四项，其他保持不变即可。

# The java implementation to use.  Java 1.6 required.
 export JAVA_HOME=/usr/local/java/jdk1.6.0_31

# Extra Java CLASSPATH elements.  Optional.
export HBASE_CLASSPATH=/usr/local/hadoop/conf

# The directory where pid files are stored. /tmp by default.
 export HBASE_PID_DIR=$HBASE_HOME/run/tmp

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
 export HBASE_MANAGES_ZK=true

4.修改conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.master</name>
    <value>summer1:60000</value>
  </property>
  <property>
    <name>hbase.master.port</name>
    <value>60000</value>
    </property>
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://summer1:9000/hbase</value>
  </property>  
 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>   
  </property>
   <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>    
  </property>
   <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>10.0.5.199</value>
  </property> 
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/summer/hadoopTMP/storage/zookeeper</value>

  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>1200000</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.tickTime</name>
    <value>6000</value>
  </property>
</configuration>

hdfs://summer1:9000/hbase这里，必须与你的Hadoop集群的core-site.xml文件配置保持完全一致才行，如果你Hadoop的hdfs使用了其它端口，请在这里也修改。有人说,这里的设置，只能使用机器hostname才可行，不识别机器IP，即若使用summer1的IP(10.0.5.199)是会抛出java错误，其实并不是这样的，用ip地址也可以，只是建议使用hostname,这样，当ip地址改变时，不需要改变hadoop的配置文件，只需要改变 hosts映射关系即可。

5.拷贝 hadoop/lib/commons-configuration-1.6.jar到hbase/lib/commons-configuration-1.6.jar

6.查看hbase/lib下有一项hadoop-core-0.20.append.jar,最好替换成hadoop/lib/hadoop-core-0.20.205.0.jar

7.启动hadoop和hbase---------------------------注意启动顺序，先启动hadoop，再启动hbase

$start-all.sh  -----------------------启动hadoop

$start-hbase.sh -------------------启动hbase

如果配置正确,在hbase启动以后，在namenode和datanode上使用jps命令查看，在namenode上可看到 JobTracker,SecondaryNameNode,NameNode,Jps,HMaster,在datanode上可看到HRegionServer,TaskTracker,Jps,DataNode。并且访问http://10.0.5.199:50070，点击"Browse the filesystem",可以看到出现了一个hbase目录，如下图所示：（如果没有hbase目录，那肯定是hbase没有配置成功）

 8.停止hbase--------------注意停止顺序，先停止hbase，再停止hadoop,否则可能导致hbase停止不了。

 $stop-hbase.sh

 $stop-all.sh

碰到的各种问题：

1. 官方文档里说明了HBase与Hadoop的适配版本，主要是 0.20-append 分支是否合并进hadoop主干的问题。hadoop 0.20.205.0 已经合并，所以一定要用 0.20.205.0 以后版本的hadoop。
2. 官方文档里提到的需要替换 lib/hadoop-core-….jar 的问题一定要做。否则启动时会出现 EOFException。由于实际版本号不同，所以直接把原jar移走，新jar放入即可。
3. 0.20.205.0 需要同时把 hadoop/lib 里的commons-configuration-1.6.jar 也考到 hbase/lib里。否则启动master时会出现master.HMaster exception of “NoClassDefFoundError” 
4. bin/start-hbase 会自动启动一个zookeeper。当然可以自行配置zookeeper。
5. bin/stop-hbase 貌似只会停止zookeeper和master, 在 B(master)上会遗留 regionserver，可以kill 进程或者 bin/hbase-daemon.sh stop regionserver
6. 同样使用 netstat -nlp | grep java 检查端口号，HBase相关服务端口均以 600开头。
7. 如果因为停止顺序不对导致hbase停止不了，可以通过下列方法强行kill掉hbase守护进程来停止，

        $netstat -nlp | grep java---------------------------------查找守护进程（Hmaster端口号为60000）对应的进程号,如下图所示 查找到进程号1 5562

        $sudo kill -9 15562 -----------------------------------------杀死进程 

　　或者直接使用jps，每行中的数字即为进程号，直接使用上面命令kill掉即可。

　　8.启动HBase的时候，无法启动RegionServer，查看日志，错误如下: 

　　org.apache.hadoop.hbase.ClockOutOfSyncException: Server summer1,60020,1357384944077 has been rejected; Reported time is too far out of sync with master.  Time difference of 3549899ms > max allowed of 30000ms

　　　原因是RegionServer与Master的时间不一致造成的，由错误内容可以看出两台机器之间最大的误差时间为30000ms,一旦超过这个值便无法启动。

　　解决方法：在所有结点上执行：sudo ntpdate time.nist.gov   （time.nist.gov是一个时间服务器）