HBase集成Hive的总结
一、hbase为什么要集成hive:
HBase是一个NoSQL数据库!一般用作对海量大表数据的实时读写,不支持复杂的查询!
Hive是一个数据仓库软件!Hive主要用来对数据仓库中的数据进行分析!Hive支持使用HQL对表中的数据进行查询!
Hive ----> HQL----->HDFS上的数据----->MR
HBase---->API---->HDFS上的数据----->MR
可以让hive集成HBase,hbase作为数据存储的介质!hive作为分析引擎,来分析Hbase中已经存储的数据!
hbase中数据的逻辑结构是一个表,hive对表中的结构化数据进行分析!
二、两种场景:
1、数据已经在hbase中,只需要根据hbase中已经有的表的结构,在hive中进行参照,创建hive中的表
1 CREATE external TABLE hive_HBase_dept_table( 2 deptid int, 3 deptname string, 4 num int 5 ) 6 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 7 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:deptname,info:num") 8 TBLPROPERTIES ("hbase.table.name" = "dept");
代码的相关说明:
1、创建的表应该是外部表,原因:数据在hbase中,hive不在维护
2、stored by:代表向表中读写数据时,借助此handler类完成操作(数据在hbase中,没有存在hdfs上)
3、在进行映射时,字段的顺序要和列的顺序一致
4、hive中的列的类型要和hase中的数据类型一致,或者需要保证转换不能失败
2、数据还没有导入hbase中,可以现在hive中建表,在hive的表中执行insert语句,将数据导入到hbase中
1 CREATE TABLE hive_HBase_dept2_table( 2 deptid int, 3 deptname string, 4 num int 5 ) 6 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 7 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:deptname,info:num") 8 TBLPROPERTIES ("hbase.table.name" = "dept2");
代码的相关说明:
1、这种情况hive负责数据的生命周期,所以hive应该为管理表
2、注意handler的jar包版本要与hbase的版本匹配