HBase集成Hive的总结

一、hbase为什么要集成hive:

HBase是一个NoSQL数据库!一般用作对海量大表数据的实时读写,不支持复杂的查询!

Hive是一个数据仓库软件!Hive主要用来对数据仓库中的数据进行分析!Hive支持使用HQL对表中的数据进行查询!

Hive ----> HQL----->HDFS上的数据----->MR

HBase---->API---->HDFS上的数据----->MR

可以让hive集成HBase,hbase作为数据存储的介质!hive作为分析引擎,来分析Hbase中已经存储的数据!

hbase中数据的逻辑结构是一个表,hive对表中的结构化数据进行分析!

二、两种场景:

1、数据已经在hbase中,只需要根据hbase中已经有的表的结构,在hive中进行参照,创建hive中的表

1 CREATE external TABLE hive_HBase_dept_table(
2 deptid int,
3 deptname string,
4 num int
5 )
6 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
7 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:deptname,info:num")
8 TBLPROPERTIES ("hbase.table.name" = "dept");

代码的相关说明:

1、创建的表应该是外部表,原因:数据在hbase中,hive不在维护

2、stored by:代表向表中读写数据时,借助此handler类完成操作(数据在hbase中,没有存在hdfs上)

3、在进行映射时,字段的顺序要和列的顺序一致

4、hive中的列的类型要和hase中的数据类型一致,或者需要保证转换不能失败

2、数据还没有导入hbase中,可以现在hive中建表,在hive的表中执行insert语句,将数据导入到hbase中

1 CREATE  TABLE hive_HBase_dept2_table(
2 deptid int,
3 deptname string,
4 num int
5 )
6 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
7 WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:deptname,info:num")
8 TBLPROPERTIES ("hbase.table.name" = "dept2");

代码的相关说明:

1、这种情况hive负责数据的生命周期,所以hive应该为管理表

2、注意handler的jar包版本要与hbase的版本匹配

posted @ 2020-03-23 22:19  七寸青衫  阅读(320)  评论(0编辑  收藏  举报
loading: { rebound: { tension: 16, }, spinner: { id: 'spinner', radius: 90, } }