七、Hadoop搭建Hbase
一、安装Hbase
安装Hbase需要安装Zookeeper
- 1.1 下载解压Hbase
cd /opt/sofaware/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.10/hbase-2.1.10-bin.tar.gz
tar -zxvf hbase-2.1.10-bin.tar.gz -C /opt/module/
cd /opt/module/hbase-2.1.10/
- 1.2 配置环境变量
vim /etc/profile 添加到最后面
export HBASE_HOME=/opt/module/hbase-2.1.10
export PATH=$PATH:$HBASE_HOME/bin
使环境变量生效
source /etc/profile
二、配置Hbase
- 2.1 修改hbase-env.sh
进入到hbase配置环境中 cd conf/
vim hbase-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 # jdk安装路径
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_MANAGES_ZK=false
- 2.2 修改regionservers(目录在conf下)
配置内容
删除:localhost
添加
hdp-100
hdp-101
hdp-102
- 2.3 修改hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hdp-100:9000/hbase</value> # hadoop端口
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hdp-100,hdp-101,hdp-102</value> # 所有机器,逗号分隔
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value> #指定web端口
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.14/data</value> # zookeeper中的data文件夹
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name> # zookeeper的客户端端口
<value>2181</value>
</property>
</configuration>
- 2.4 把配置同步到其他两台机器上
rsync -av /opt/module/hbase-2.1.10/ hdp-101:/opt/module/hbase-2.1.10/
rsync -av /opt/module/hbase-2.1.10/ hdp-102:/opt/module/hbase-2.1.10/
复制配置文件
rsync -av /etc/profile hdp-101:/etc/profile
rsync -av /etc/profile hdp-102:/etc/profile
在相应的主机上使配置文件生效
source /etc/profile
- 2.5 启动hbase
./bin/start-hbase.sh
http://hdp-100:60010/master-status
http://hdp-101:16030/rs-status
- 2.6 Hbase案例
hbase shell
使用命令:create 'test', {NAME=>'row',VERSIONS=>3,COMPRESSION=>'gz'}
分别执行
put ‘test’,’rowkey11’,’row:q1’,’r1-v1’
put 'test','rowkey11','row:q2','r1-v2'
put 'test','rowkey1','row:q1','r2-v1'
put 'test','rowkey1','row:q2','r2-v2'
put 'test','rowkey1','row:q3','r2-v3'
插入四条记录
使用命令scan 'test'查看表数据 - 2.7 使用python连接hbase需要启动thrift
hbase thrift start-port:9090