七、Hadoop搭建Hbase
一、安装Hbase
安装Hbase需要安装Zookeeper
- 1.1 下载解压Hbase
cd /opt/sofaware/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.10/hbase-2.1.10-bin.tar.gz
tar -zxvf hbase-2.1.10-bin.tar.gz -C /opt/module/
cd /opt/module/hbase-2.1.10/
- 1.2 配置环境变量
vim /etc/profile 添加到最后面
export HBASE_HOME=/opt/module/hbase-2.1.10
export PATH=$PATH:$HBASE_HOME/bin
使环境变量生效
source /etc/profile
二、配置Hbase
- 2.1 修改hbase-env.sh
进入到hbase配置环境中 cd conf/
vim hbase-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 # jdk安装路径
export HBASE_LOG_DIR=${HBASE_HOME}/logs
export HBASE_MANAGES_ZK=false
- 2.2 修改regionservers(目录在conf下)
配置内容
删除:localhost
添加
hdp-100
hdp-101
hdp-102
- 2.3 修改hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hdp-100:9000/hbase</value> # hadoop端口
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hdp-100,hdp-101,hdp-102</value> # 所有机器,逗号分隔
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value> #指定web端口
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/module/zookeeper-3.4.14/data</value> # zookeeper中的data文件夹
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name> # zookeeper的客户端端口
<value>2181</value>
</property>
</configuration>
- 2.4 把配置同步到其他两台机器上
rsync -av /opt/module/hbase-2.1.10/ hdp-101:/opt/module/hbase-2.1.10/
rsync -av /opt/module/hbase-2.1.10/ hdp-102:/opt/module/hbase-2.1.10/
复制配置文件
rsync -av /etc/profile hdp-101:/etc/profile
rsync -av /etc/profile hdp-102:/etc/profile
在相应的主机上使配置文件生效
source /etc/profile
- 2.5 启动hbase
./bin/start-hbase.sh
http://hdp-100:60010/master-status
http://hdp-101:16030/rs-status
- 2.6 Hbase案例
hbase shell
使用命令:create 'test', {NAME=>'row',VERSIONS=>3,COMPRESSION=>'gz'}
分别执行
put ‘test’,’rowkey11’,’row:q1’,’r1-v1’
put 'test','rowkey11','row:q2','r1-v2'
put 'test','rowkey1','row:q1','r2-v1'
put 'test','rowkey1','row:q2','r2-v2'
put 'test','rowkey1','row:q3','r2-v3'
插入四条记录
使用命令scan 'test'查看表数据 - 2.7 使用python连接hbase需要启动thrift
hbase thrift start-port:9090
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 提示词工程——AI应用必不可少的技术