HBASE之shell操作和Java访问

对数据库HBASE的操作有shell端和java API两种方式。

在此之前要先说一下HBASE的结构及其数据存储结构：

HBASE是基于HDFS的，是一种NoSQL的数据库。它的数据模型如下所示：

 

Row Key	Timestamp	Column Family
		URI	Parser
r1	t3	url=http://www.taobao.com	title=天天特价
	t2	host=taobao.com
	t1
r2	t5	url=http://www.alibaba.com	content=每天…
	t4	host=alibaba.com

RowKey：行键，也是表的主键。表中的记录是按照Row Key排序。

Timestamp：时间戳，每次数据操作对应的时间戳，可以看作数据的version number。

ColumnFamily：列簇，Table在水平方向有一个或者多个Column Family组成，一个Column Family中可以由任意多个Column组成，即Column Family支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型转换。

 

• shell操作

shell中输入 hbase shell进入hbase操作，假设这样的person表：

rowid,username,userid,birth,phone,sex

创建该表需要使用：

1. create 'person','username','userid','birth','phone','sex'

第一个是表名，后面都是属性，rowkey列不需要自己创建和设定列名。

ps，hbase shell 中，都没有分号做结尾。而且表名列名基本都加引号，这和SQL不一样。

加入单个数据，我们使用put命令。注意put命令的操作，只能一行一列的单个值去添加，不能一次加一行：

1. put 'person','1','username','Aran'

表示person表中行号（row key）为1列名为username的值为Aran。

如果清空表，需要：

1. truncate 'person'

如果删除表，需要：

1. disable 'person'
2. drop 'person'

Hbase中的查询分为两种：以rowkey方式的行查询，和以值为基础遍历.

rowkey方式：

1. get 'person','1'

值查询：

1. scan 'person',FILTER=>"ValueFilter(=,'binary:1992-2-12')"

 

Hbase支持cvs格式批量导入：

类似这样格式的文件    1,User1,8237764069450,2001-8-19,682318616,1

可以在shell中（不是hbase shell中）导入：

1. hbase org.apache.hadoop.hbase.mapreduce.ImportTsv-Dimporttsv.separator=","-Dimporttsv.columns=HBASE_ROW_KEY,username,userid,birth,phone,sex person hdfs://192.168.70.28:9000/dataImport/HbaseTable-1.cvs

分割符为,并且，导入不用写rowkey，默认第一个就是rowkey。

就介绍这么多。详细的请参考：

http://www.jb51.net/article/31172.htm

http://blog.csdn.net/pirateleo/article/details/7956965

http://www.cnblogs.com/linjiqin/archive/2013/03/08/2949339.html

 

• JAVA API

对于开发者而言，通过shell去操作数据还是很少见。我们可以使用JAVA API。

新建Java项目，添加的包有Hadoop下的Hadoop-core和Hbase/lib/下的所有jar。

只写了查询相关的Func，直接上代码：

1. import java.io.IOException;
2. import java.util.Iterator;
4. import org.apache.hadoop.conf.Configuration;
5. import org.apache.hadoop.hbase.HBaseConfiguration;
6. import org.apache.hadoop.hbase.HConstants;
7. import org.apache.hadoop.hbase.KeyValue;
8. import org.apache.hadoop.hbase.client.Get;
9. import org.apache.hadoop.hbase.client.HTable;
10. import org.apache.hadoop.hbase.client.HTablePool;
11. import org.apache.hadoop.hbase.client.Result;
12. import org.apache.hadoop.hbase.client.ResultScanner;
13. import org.apache.hadoop.hbase.client.Scan;
14. import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
15. import org.apache.hadoop.hbase.filter.Filter;
16. import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
18. publicclassHbaseAPI{
19. privatestaticConfiguration conf =null;
20. static{
21. conf =HBaseConfiguration.create();
22. conf.set("hbase.zookeeper.property.clientPort","2181");
23. conf.set("hbase.zookeeper.quorum","192.168.70.29");
24. conf.set("hbase.master","192.168.70.28:60000");
25. //timeout time
26. conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY,1200000);  
27. }
29. //query by rowkey
30. publicstaticvoidQueryByrowKey(String tableName,String rowKey){
31. try{
33. HTable table =newHTable(conf,tableName);
34. Get g =newGet(rowKey.getBytes());
35. long start =System.currentTimeMillis();
36. Result r = table.get(g);
37. /*System.out.println("column：rowkey"  
38.                         + "====value:" + new String(r.getRow()));
39. for (KeyValue keyValue : r.raw()) {  
40.                 System.out.println("column：" + new String(keyValue.getFamily())  
41.                         + "====value:" + new String(keyValue.getValue()));  
42.             }*/
43. long end =  System.currentTimeMillis();
44. System.out.println(end-start);
45. }catch(IOException e){
46. // TODO Auto-generated catch block
47. e.printStackTrace();
48. }
51. }
53. //query by condition
54. publicstaticvoidQueryByCondition(String tableName,String columnName,String columnValue){
55. try{
57. HTable table =newHTable(conf,tableName);
58. Filter filter =newSingleColumnValueFilter(columnName.getBytes(),null,CompareOp.EQUAL,columnValue.getBytes());
59. Scan s =newScan();
60. s.setFilter(filter);
61. long start =System.currentTimeMillis();
62. ResultScanner rs = table.getScanner(s);
64. int hang =0;
65. for(Result r : rs){
66. /*System.out.println(new String(r.getRow()));
67. System.out.println("column：rowkey"  
68.                         + "====value:" + new String(r.getRow()));
69. for (KeyValue keyValue : r.raw()) {  
70.                System.out.println("column：" + new String(keyValue.getFamily())  
71.                        + "====value:" + new String(keyValue.getValue()));  
72.            }*/
73. hang++;
74. }
75. long end =System.currentTimeMillis();
76. System.out.println("rownum:"+hang);
77. System.out.println(end-start);
78. }catch(IOException e){
79. // TODO Auto-generated catch block
80. e.printStackTrace();
81. }
83. }
85. publicstaticvoid main(String[] args){
86. //HbaseAPI.QueryByrowKey("person1000", "12307999");
87. //HbaseAPI.QueryByCondition("person1000", "username", "User2312397");
88. HbaseAPI.QueryByCondition("person1000","sex","0");
89. }
90. }

特别说下conf.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 1200000)表示的是每次访问最大时长，超过这个时长自动终止。

 

上文中的QueryByCondition并不准确，SingleColumnValueFilter的四个参数分别是列簇名、列名、过滤条件，过滤值。由于上文中的Hbase表每个列都是列簇，所以没有问题，现提供同时有列簇和列的查询：

1. publicstaticvoidQueryByCondition(String tableName,String familyName,String columnName,String columnValue){
2. try{
4. HTable table =newHTable(conf,tableName);
5. Filter filter =newSingleColumnValueFilter(familyName.getBytes(),columnName.getBytes(),CompareOp.EQUAL,columnValue.getBytes());
6. Scan s =newScan();
7. s.setCaching(1000);
8. s.setFilter(filter);
9. long start =System.currentTimeMillis();
10. ResultScanner rs = table.getScanner(s);
12. int hang =0;
13. for(Result r : rs){
14. System.out.println(newString(r.getRow()));
15. System.out.println("column：rowkey"  
16.                         +"====value:"+newString(r.getRow()));
17. for(KeyValue keyValue : r.raw()){  
18.                System.out.println("column："+newString(keyValue.getFamily())+":"+newString(keyValue.getQualifier())
19.                        +"====value:"+newString(keyValue.getValue()));  
20.            }
21. hang++;
22. }
23. long end =System.currentTimeMillis();
24. System.out.println("rownum:"+hang);
25. System.out.println(end-start);
26. }catch(IOException e){
27. // TODO Auto-generated catch block
28. e.printStackTrace();
29. }
31. }

代码中有一个s.setCaching()，这涉及到了Hbase 的Scanner Caching功能：

base.client.scanner.caching配置项可以设置HBase scanner一次从服务端抓取的数据条数，默认情况下一次一条。通过将其设置成一个合理的值，可以减少scan过程中next()的时间开销，代价是scanner需要通过客户端的内存来维持这些被cache的行记录。

有三个地方可以进行配置：1）在HBase的conf配置文件中进行配置；2）通过调用HTable.setScannerCaching(int scannerCaching)进行配置；3）通过调用Scan.setCaching(int caching)进行配置。三者的优先级越来越高。

 

参考文件：

http://javacrazyer.iteye.com/blog/1186881

 

来自为知笔记(Wiz)