1.Hbase集群安装配置(一主三从)
1.HBase安装配置,使用独立zookeeper,shell测试
安装步骤:首先在Master(shizhan2)上安装:前提必须保证hadoop集群和zookeeper集群是可用的
1.上传:用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到:/data/software/目录下
2.解压:tar -xzvf hbase-0.99.2-bin.tar.gz -C /usr/local/src/
3.重命名:mv hbase-0.99.2 hbase
4.修改环境变量:在master机器上执行:vi /etc/profile,添加如下内容:
export HBASE_HOME=/usr/local/src/hbase
export PATH=$PATH:$HBASE_HOME/bin
5.修改配置文件:
vi /hbase/conf/hbase-site.xml
<configuration> <property> #hbasemaster的主机和端口 <name>hbase.master</name> <value>shizhan2:60000</value> </property> <property> #时间同步允许的时间差 <name>hbase.master.maxclockskew</name> <value>180000</value> </property> <property> #共享目录,持久化hbase数据 <name>hbase.rootdir</name> <value>hdfs://shizhan2:9000/hbase</value> </property> <property> #是否分布式运行,false即为单机 <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> #zookeeper地址 <name>hbase.zookeeper.quorum</name> <value>shizhan3,shizhan5,shizhan6</value> </property> <property> #zookeeper配置信息快照的位置,zookeeper 保持信息的文件,默认为/tmp 重启会丢失 <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/hbase/tmp/zookeeper</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2183</value> </property> </configuration>
vi /hbase/conf/hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_45 //jdk安装目录
export HBASE_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar //hadoop配置文件的位置
export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false,自带的设置为true
vi /conf/regionservers
shizhan3
shizhan5
shizhan6
6.将Hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下:
hdfs-site.xml:
<configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://shizhan2:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/src/hadoop-2.6.4/hdpdata</value> </property> </configuration>
7.修Hanase安装包发送到其他机器:
scp –r /usr/local/src/hbase shizhan3:/usr/local/src/
scp –r /usr/local/src/hbase shizhan5:/usr/local/src/
scp –r /usr/local/src/hbase shizhan6:/usr/local/src/
8.启动:cd /usr/local/src/hbase/bin/ ./start-hbase.sh
9.查看:http://shizhan2:16010/,使用jps查看:
Hbase动态增删主备节点:
注意:以上安装是shizhan2作为主节点,shizhan3、shizhan5、shizhan6作为从节点(一主三从)
1.如下为Habase的多Master配置方案(添加双主Master):在任意安装了Hbase的机器上启动Master:
local-master-backup.sh start 2
2.添加Hbase节点:先拷贝一个从节点到其他机器上,然后启动
hbase-daemon.sh start regionserver
注意:动态添加、删除Hbase节点(HMaster、HRegionServer)是由Zookeeper控制的,例如:
:启动双主HMaster节点:在shizhan3上通过命令启动:
通过连接Zookeeper客户端连接Zookeeper服务查看节点:zkCli.sh -server shizhan2:2183
查看在shihan3上启动的双主节点HMaster备用节点信息:
此时如若将杀掉的从节点shizhan6重新启动:bin/hbase-daemon.sh start regionserver(动态增加节点)
可以看出节点被重新添加
在Hadoop+Zookeeper+Hbase集群中:
1.首先启动hadoop集群;
2.启动zookeeper集群服务:因为在Hbase中提供了HBASE_MANAGES_ZK变量来设置是否管理zookeeper集群,默认情况,
HBASE_MANAGES_ZK设置为true(Hbase自带),即告诉Hbase把zookeeper启动、停止作为Hbase启动、停止的一部分,如果要
设置为独立的Zookeeper集群管理(不是由HBase管理的集群),则将hbase-env.sh中的HBASE_MANAGES_ZK设置为false,如
果是独立启动zookeeper集群,那么这里的clientPort必须与zookeeper配置的一致,否则客户端连接的时候会报错(所以先
启动zookeeper集群,服务端口号设置的为2183,即可通过shizhan5/192.168.232.207:2183去连接)
3.启动Hbase集群;