9.21 hbase查询API

HBase是一个分布式的、面向列的开源数据库,不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

项目中用到了hbase数据库,因为查询方式和以前用过的数据库很不同所以,想将摸索过程记录下来以便之后查看。

hbase查询最大的不同在于它使用了rowkey,通过扫描rowkey可以最快速的对数据进行查询,所以在建表初期rowkey的设计工作就尤为重要,因为会影响之后查找的使用工作。hbase的扫描查找分为get\scan两种,get为获取单行数据,而scan为获取多行数据,此处主要讲解scan查询。而查询方式也分为两种,一种就是针对rowkey的查询,一种就是针对列簇family和字段qualifier的使用过滤器查询。

在项目中使用的基本流程为先创建config(hbase数据库基本配置信息)

Configuration conf = HBaseConfiguration.create();

在set好配置信息之后创建hbase表对象

HTable ht = new HTable(conf, "tableName");

创建好之后就开始构造scan扫描器了,scan不进行具体配置的话为全表扫描,使用ResultScanner对象接收查询结果。

Scan scan = new Scan();

ResultScanner rs = ht.getScanner(scan);

Scan类的属性配置简要的罗列几条如下:

 

caching 影响一次读取返回的Results数量;

Batch 限定了一个Result中所包含的列的数量,如果一行数据被请求的列的数量超出Batch限制,那么这行数据会被拆成多个Results。;

storeLimit Scan操作所获取的行的数量 ;

storeOffset Scan操作所获取的哪页的数据 ;

CacheBlocks: RegionServer侧是否要缓存本次Scan所涉及的HFileBlocks ;

Raw 是否可以读取到删除标识以及被删除但尚未被清理的数据 ;

MaxResultSize: 从内存占用量的维度限制一次Scan的返回结果集 ;

Reversed 反向扫描 ;

allowPartialResults 允许返回部分结果 ;

loadColumnFamiliesOnDemand 按需载入列族;

 

 

接下来将详细介绍不同的查询类型: 

1、首先是rowkey查询,这种查询方式是最常用的,使用rowkey的scan构造器

Scan scan = new Scan(startrow,stoprow);

注意,使用rowkey扫描时,结果集为[startrow,stoprow)的形式,如果想不包含startrow或者包含stoprow可以再尾部加上0;

如果存在不确定rowkey的值的情况:例如,某个表的rowkey形式为【shop_月份_门店iD】,如果是想取出该门店所有月份数据,设id=1 * 可

将startRow定为shop_*_1,将stopRow定为shop_~_1。

2、之后就是过滤器查询,当rowkey的满足不了查询需求时可以考虑使用过滤器查询,基本流程就是创建FilterList(过滤器组),再创建SingleColumnValueFilter设计详细的过滤信息放入过滤组中,即可查询。

FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);

构造器中的参数FilterList.Operator,是为了配置多过滤器且或关系的,

FilterList.Operator.MUST_PASS_ALL为需要过滤器都符合
FilterList.Operator.MUST_PASS_ONE为一个过滤器符合即可

之后开始构建单体过滤器SingleColumnValueFilter,最常使用的构造器为

SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, byte[] value)

family为列族,qualifier为字段名,value未查询的值,而compareOP为比较运算符 CompareFilter.CompareOp,枚举值如下:

LESS 小于

LESS_OR_EQUAL 小于等于

EQUAL 相等

NOT_EQUAL 不等于

GREATER_OR_EQUAL 大于等于

GREATER 大于

NO_OP 不包含

 

除了最基本的使用方法外还可以使用比较器,构造器与上述相似,就是将value值变为比较器即可,比较器的类型大致分为:

BinaryComparator 匹配完整字节数组

BinaryPrefixComparator 匹配字节数组前缀

BitComparator  不常用

NullComparator  不常用

RegexStringComparator 匹配正则表达式

SubstringComparator 匹配子字符串

 

scan查询还有很多细节,需要在开发过程中慢慢掌握。

posted @ 2021-09-21 09:26  While!true  阅读(504)  评论(0编辑  收藏  举报