Hbase的使用
Hbase的使用
制作人：全心全意
Hbase原理
hbase简介：非关系型数据库-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库，利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理Hbase中的海量数据，利用Zookeeper作为其分布式协同服务。主要用来存储非结构化和半结构化的松散数据。
hbase数据模型：
ROW KEY：主键（只能存储64k的字节数据）按照字典顺序进行排序（数据时有序的）
Column Family列族 & qualifier列：
Hbase表中的每个列都归属于某个列族，列族必须作为表模式（schema）定义的一部分预先给出。如create 'test','course';（test为表名，course为列族）
列名以列族为前缀，每个“列族”都可以有多个列成员（column）；如course:math，course:english, 新的列族成员可以随后按需、动态加入
权限控制、存储以及调优都是在列族层面进行的
Hbase把同一列族里面的数据存储在同一目录下，由几个文件保存。
Timestamp时间戳：
在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本在最前面。
时间戳的类型是64位整型
时间戳可以有HBase（在数据写入时自动）赋值，此时时间戳是精确到毫秒的当前系统时间
时间戳也可以有用户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳
Cell单元格：
由行和列的坐标交叉决定
单元格是由版本的（默认是时间戳）
单元格的内容是未解析的字节数组。cell中的数据是没有类型的，全部都是字节码形式存储。
HLog（WAL log）：容灾
HLog文件就是一个普通的Hadoop Sequence File，Sequence File的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括sequence number和timestamp， timestamp是写入时间，sequence number的起始值为0，或者是最近一次存入文件系统中的sequence number。
HLog SequeceFile的Value是HBase的Key Value对象，即对应HFile中的KeyValue。
Hbase体系架构
Client：包含访问HBase的接口并维护cache来加快对HBase的访问
Zookeeper：
保证任何时候，集群中仅有一个（处于工作状态的）master
存贮所有Region的寻址入口
实时监控Region server的上线和下线信息。并实时通知master
存储HBase的schema的table元数据
Master：
为Region server分配region
负责Region server的负载均衡
发现失效的Region server，并重新分配其上的region
管理用户对table的增删改操作
Region server：
Region server维护region，处理对这些region的IO请求
Region server负责切分在运行过程中变得过大的region
Region：
HBase自动把表水平划分成多个区域（region），每个region会保存一个表里面某段连续的数据；每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阈值的时候，region就会等分两个新的region（裂变）
当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Region server上。
Memstore与storefile：
一个region由多个store组成，一个store对应一个CF（列族）
store包括位于内存中的memstore和位于磁盘的storefile写操作先写入memstore，当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile，每次写入形成单独的一个storefile
当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、major compaction），在合并过程中会进行版本合并和删除工作（majar），形成更大的storefile
当一个region所有storefile的大小和数量超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到响应的region server服务器，实现负载均衡
客户端检索数据，先在memstore找，找不到再找storefile
Linux部署Hbase
伪分布式
配置好java的环境变量（JAVA_HOME）
[root@bogon home]# cd /home/
[root@bogon home]# tar xf hbase-2.2.5-bin.tar.gz
[root@bogon home]# cd hbase-2.2.5/
#配置HBASE
[root@bogon hbase-2.2.5]# cd conf/
[root@bogon conf]# vi hbase-env.sh
export JAVA_HOME=/home/jdk1.8.0_251
[root@bogon conf]# vi hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///tmp/hbase</value> #配置hbase的存储位置
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
</configuration>
配置环境变量
vi /etc/profile export HBASE_HOME=/home/hbase-2.2.5 export PATH=$PATH:$HBASE_HOME/bin
启动Hbase
[root@bogon conf]# start-hbase.sh
Hbase的操作命令
进入hbase
hbase shell
查看所有表
list
查看表的结构
describe '表名'
创建表
create '表名','列族1','列族2',...
插入数据
put '表名','ROWID','列族:列名','值'
查询数据
#扫描表，扫描整个表，数据量过大不建议使用 scan '表名' #查询数据 get '表名','ROWID' get '表名','ROWID','列族' get '表名','ROWID','列族:列名'
关闭或开启表
#禁用表 disable '表名' #开启表 enable'表名'
删除表
drop '表名' #删除表之前一定要禁用表
查看namespace
list_namespace
默认用户创建的数据都是存在的defaultnamespace中的
