9.21 hbase查询API

HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

项目中用到了hbase数据库，因为查询方式和以前用过的数据库很不同所以，想将摸索过程记录下来以便之后查看。

hbase查询最大的不同在于它使用了rowkey，通过扫描rowkey可以最快速的对数据进行查询，所以在建表初期rowkey的设计工作就尤为重要，因为会影响之后查找的使用工作。hbase的扫描查找分为get\scan两种，get为获取单行数据，而scan为获取多行数据，此处主要讲解scan查询。而查询方式也分为两种，一种就是针对rowkey的查询，一种就是针对列簇family和字段qualifier的使用过滤器查询。

在项目中使用的基本流程为先创建config（hbase数据库基本配置信息）

Configuration conf = HBaseConfiguration.create();

在set好配置信息之后创建hbase表对象

HTable ht = new HTable(conf, "tableName");

创建好之后就开始构造scan扫描器了，scan不进行具体配置的话为全表扫描，使用ResultScanner对象接收查询结果。

Scan scan = new Scan();

ResultScanner rs = ht.getScanner(scan);

Scan类的属性配置简要的罗列几条如下：

 

caching 影响一次读取返回的Results数量；

Batch 限定了一个Result中所包含的列的数量，如果一行数据被请求的列的数量超出Batch限制，那么这行数据会被拆成多个Results。；

storeLimit Scan操作所获取的行的数量 ；

storeOffset Scan操作所获取的哪页的数据 ；

CacheBlocks: RegionServer侧是否要缓存本次Scan所涉及的HFileBlocks ；

Raw 是否可以读取到删除标识以及被删除但尚未被清理的数据 ；

MaxResultSize: 从内存占用量的维度限制一次Scan的返回结果集 ；

Reversed 反向扫描 ；

allowPartialResults 允许返回部分结果 ；

loadColumnFamiliesOnDemand 按需载入列族；

 

 

接下来将详细介绍不同的查询类型： 

1、首先是rowkey查询，这种查询方式是最常用的，使用rowkey的scan构造器

Scan scan = new Scan(startrow,stoprow);

注意，使用rowkey扫描时，结果集为[startrow,stoprow)的形式，如果想不包含startrow或者包含stoprow可以再尾部加上0；

如果存在不确定rowkey的值的情况:例如，某个表的rowkey形式为【shop_月份_门店iD】，如果是想取出该门店所有月份数据，设id=1 * 可

将startRow定为shop_*_1,将stopRow定为shop_~_1。

2、之后就是过滤器查询，当rowkey的满足不了查询需求时可以考虑使用过滤器查询，基本流程就是创建FilterList（过滤器组），再创建SingleColumnValueFilter设计详细的过滤信息放入过滤组中，即可查询。

FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);

构造器中的参数FilterList.Operator，是为了配置多过滤器且或关系的，

FilterList.Operator.MUST_PASS_ALL为需要过滤器都符合

FilterList.Operator.MUST_PASS_ONE为一个过滤器符合即可

之后开始构建单体过滤器SingleColumnValueFilter，最常使用的构造器为

SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, byte[] value)

family为列族，qualifier为字段名，value未查询的值，而compareOP为比较运算符 CompareFilter.CompareOp,枚举值如下：

LESS 小于

LESS_OR_EQUAL 小于等于

EQUAL 相等

NOT_EQUAL 不等于

GREATER_OR_EQUAL 大于等于

GREATER 大于

NO_OP 不包含

 

除了最基本的使用方法外还可以使用比较器，构造器与上述相似，就是将value值变为比较器即可，比较器的类型大致分为：

BinaryComparator 匹配完整字节数组

BinaryPrefixComparator 匹配字节数组前缀

BitComparator　　不常用

NullComparator　　不常用

RegexStringComparator 匹配正则表达式

SubstringComparator 匹配子字符串

 

scan查询还有很多细节，需要在开发过程中慢慢掌握。