Hbase集群安装
前置条件
- Zookeeper集群安装并运行
- Hadoop集群安装并运行
- Java8已安装
版本选择
根据官网的版本提示自行选择要匹配的版本: https://hbase.apache.org/book.html#basic.prerequisites
在这里,我的hadoop-2.7.7,选择的Hbase版本为hbase-1.4.13
安装
Zookeeper集群安装
参考: https://www.cnblogs.com/liuyinzhou/p/13495474.html
Hadoop集群安装
参考: https://www.cnblogs.com/liuyinzhou/p/13495503.html
Hbase安装
下载安装包
下载地址: http://mirrors.hust.edu.cn/apache/hbase/1.4.13/hbase-1.4.13-bin.tar.gz
修改配置文件
修改hbase-env.sh
export JAVA_HOME=/usr/local/java
export HBASE_MANAGES_ZK=false
注释以下两行
# export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_JMX_BASE -Dcom.sun.management.jmxremote.port=10101"
# export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS $HBASE_JMX_BASE -Dcom.sun.management.jmxremote.port=10102"
修改hbase-site.xml
<configuration>
<property>
<!-- 指定 hbase 在 HDFS 上存储的路径 -->
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<!-- 指定 hbase 是分布式的 -->
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<!-- 指定 zk 的地址，多个用“,”分割 -->
<name>hbase.zookeeper.quorum</name>
<value>master:2181,slave:2181</value>
</property>
</configuration>
注意:hbase.rootdir中HDFS的地址一定要与Hadoop配置文件core-site.xml中配置相同!!!
修改regionserver
master
slave
修改backup-masters
slave
backup-masters可以有多个且在不同的节点上,在集群启动时会在相应的节点启动HMaster进程做高可用
配置环境变量
export JAVA_HOME=/usr/local/java
export HBASE_HOME=/opt/hbase-1.4.13
export HADOOP_HOME=/opt/hadoop-2.7.7
export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export PATH=$JAVA_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/sbin:$PATH
确保所有节点已配置且生效,其中,若不配置HBASE_HOME环境变量会导致Hbase无法找到Hadoop相关依赖从而导致启动失败
同步集群时钟
HBase 集群对于时间的同步要求的比 HDFS 严格，所以，集群启动之前千万记住要进行时钟同步，要求相差不要超过 30s.
分发安装包
yizhou@master:/opt/hbase-1.4.13$ scp -r /opt/hbase-1.4.13 slave:/opt/
集群启动
验证Zookeeper集群
在所有节点上执行
yizhou@master:/opt/zookeeper-3.4.14$ ./bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
yizhou@slave:/opt/zookeeper-3.4.14$ ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: leader
验证Hadoop集群
yizhou@master:~$ jps
9283 NodeManager
8629 DataNode
8421 NameNode
9449 Jps
8926 ResourceManager
yizhou@slave:/opt/zookeeper-3.4.14$ jps
3616 Jps
3010 HRegionServer
13234 NodeManager
12099 QuorumPeerMain
13092 SecondaryNameNode
3225 HMaster
12923 DataNode
启动Hbase
在哪一个节点执行,哪一个节点就是HMaster
yizhou@master:/opt/hbase-1.4.13$ ./bin/start-hbase.sh
running master, logging to /opt/hbase-1.4.13/logs/hbase-yizhou-master-master.out
master: running regionserver, logging to /opt/hbase-1.4.13/bin/../logs/hbase-yizhou-regionserver-master.out
slave: running regionserver, logging to /opt/hbase-1.4.13/bin/../logs/hbase-yizhou-regionserver-slave.out
slave: running master, logging to /opt/hbase-1.4.13/bin/../logs/hbase-yizhou-master-slave.out
验证Master节点
yizhou@master:/opt/zookeeper-3.4.14$ jps
16483 HMaster
9283 NodeManager
8629 DataNode
8421 NameNode
9880 QuorumPeerMain
8926 ResourceManager
21982 Jps
16718 HRegionServer
在Master节点上出现了HMaster和HRegionServer进程,master节点启动成功!
验证其余Slave节点
yizhou@slave:/opt/zookeeper-3.4.14$ jps
3616 Jps
3010 HRegionServer
13234 NodeManager
12099 QuorumPeerMain
13092 SecondaryNameNode
3225 HMaster
12923 DataNode
在上面的配置文件中,我们设置了后备HMaster是slave,且slave也是HRegionServer,故在slave节点上有HMaster和HRegionServer两个进程,故slave节点启动正常.
若出现了部分slave节点启动失败,可以使用以下名称手动启动HRegionServer
yizhou@master:/opt/hbase-1.4.13$ ./bin/hbase-daemon.sh start regionserver
WEB UI
默认地址: http://master:16010/master-status
至此,Hbase集群启动成功!
