Hive-06 Hive和HBase的集成
1. 与Hive的集成
Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL，
通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduce任务运行，但是Hive不能够进行交互查询——它只能够在Haoop上批量的执行Map/Reduce任务。
Hive适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。
Hbase是Hadoop database 的简称，是一种NoSQL数据库，非常适用于海量明细数据（十亿、百亿）的随机实时查询，如交易清单、轨迹行为等。
在大数据架构中，Hive和HBase是协作关系，Hive方便地提供了Hive QL的接口来简化MapReduce的使用， 而HBase提供了低延迟的数据库访问。如果两者结合，可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。
Hive和HBase的通信原理
Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，
这种相互通信是通过$HIVE_HOME/lib/hive-hbase-handler-*.jar工具类实现的。通过HBaseStorageHandler，Hive可以获取到Hive表所对应的HBase表名，列簇和列，InputFormat、OutputFormat类，创建和删除HBase表等。基本通信原理如下：
访问
Hive访问HBase中HTable的数据，实质上是通过MR读取HBase的数据，而MR是使用HiveHBaseTableInputFormat完成对表的切分，获取RecordReader对象来读取数据的。
对HBase表的切分原则是一个Region切分成一个Split,即表中有多少个Regions,MR中就有多少个Map；
读取HBase表数据都是通过构建Scanner，对表进行全表扫描，如果有过滤条件，则转化为Filter。当过滤条件为rowkey时，则转化为对rowkey的过滤；Scanner通过RPC调用RegionServer的next()来获取数据。
简单来说，Hive和Hbase的集成就是，打通了Hive和Hbase，使得Hive中的表创建之后，可以同时是一个Hbase的表，并且在Hive端和Hbase端都可以做任何的操作。
使用场景：
（一）将ETL操作的数据通过Hive加载到HBase中，数据源可以是文件也可以是Hive中的表。
（二）Hbae作为Hive的数据源，通过整合，让HBase支持JOIN、GROUP等SQL查询语法。
（三）构建低延时的数据仓库
以上原理来自知乎：https://zhuanlan.zhihu.com/p/74041611
HBase与Hive的集成在最新的两个版本中无法兼容。所以，我们只能重新编译：hive-hbase-handler-1.2.2.jar！
将所需要的lib的jar包导入进行编译； apache-hive-1.2.1-src\hbase-handler\src\java
操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar，那么接下来拷贝Hive所依赖的Jar包（或者使用软连接的形式）。
对hive添加的jar添加到这个参数，需重启；相当于hbase的客户端-hive,hive和hbase集成所依赖的类
export HIVE_AUX_JARS_PATH=/opt/module/hbase-1.3.1/lib/*
同时在hive-site.xml中修改zookeeper的属性，如下：
<property> <name>hive.zookeeper.quorum</name> <value>hadoop101,hadoop102,hadoop103</value> <description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description> </property> <property> <name>hive.zookeeper.client.port</name> <value>2181</value> <description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description> </property>
建立Hive表，关联HBase表，插入数据到Hive表的同时能够影响HBase表。
hive表字段映射到hbase中；用stored by指定下格式类型hbase；指定映射关系；serd是序列化和反序列化；列顺序和字段一一对应；：key即rowkey
hive中表删，hbase中就没有了； 这样建立出来的表插入的源数据都是在Hbase里面存放着,当从Hbase中删除记录的同时也会删除在Hive中的数据
Hive建内部表与Hbase进行关联 -- 文件存储在Hbase中 --
内部表，这种情况是hbase本来没有这张表，创建后会在hbase中同样创建一张表，将来数据也是存放在hbase中的；hdfs的hive表目录有hive文件夹，但是里面没有数据。
这时，如果使用load data 命令导入数据会报错，因为该表是non-native table。
当hive使用overwrite关键字进行插入数据时，原本数据不会被删除，有同样的行健会被更新覆盖。因为数据是存在hbase中的，遵守hbase插入数据的规则。
- 当hive删除hive表时，hbase表也会删除。
- 当先删除hbase的时候，先disabled table,然后drop table；这时hbase表就被删除了，zookeeper里面也就删除了。但是hive里面还在,用show tables还能查出来。mysql中TBLS里面还有hive表的信息。但是用select * from hive 查询的时候报错,表不存在(TableNotFoundException)然后删除hive里面的表的时候会报错TableNotFoundException）。继续show tables时，发现表已经不在了。TBLS里面也没有hive表了。
0: jdbc:hive2://hadoop101:10000> create table hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ("hbase.columns.mapping"=":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") tblproperties ("hbase.table.name"="hbase_emp_table","hbase.mapred.output.outputtable"="hbase_emp_table");
说明：
a、 在tblproperties 语句中
"hbase.table.name"定义的是在hbase中的表名 ，这个属性是可选的，仅当你想在Hive和Hbase中使用不同名字的表名时才需要填写，如果使用相同的名字则可以省略；
"hbase.mapred.output.outputtable"定义的hbase_emp_table是存储数据表的名称，指定插入数据时写入的表，如果以后需要往该表插入数据就需要指定该值，这个可以不要，表数据就存储在第二个表中了 。
b、stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' ：是指定处理的存储器，就是hive-hbase-handler-*.jar包，要做hive和hbase的集成必须要加上这一句；
c、“hbase.columns.mapping” 是定义在hive表中的字段怎么与hbase的列族进行映射。
例如:info就是列族，ename就是列。它们之间通过“：”连接。
在hive中创建的hive_hbase_emp_table表，映射为hbase中的表hbase_emp_table，其中：key对应hbase的rowkey，value对应hbase的列。
完成之后，可以分别进入Hive和HBase查看，都生成了对应的表
在Hive中创建临时中间表，用于load文件中的数据； 不能将数据直接load进Hive所关联HBase的那张表中；要经过mapreduce；
向hive_hbase_emp_table表中插入数据：
hive> insert into table hive_hbase_emp_table select * from emp;
查看Hive以及关联的HBase表中是否已经成功的同步插入了数据
Hive：
hive> select * from hive_hbase_emp_table;
HBase：
hbase> scan ‘hbase_emp_table’ 或者 describe ‘hbase_emp_table’
对于在hbase已经存在的表（可提前设计rowkey），在hive中使用CREATE EXTERNAL TABLE来建立联系
在HBase中建立预分区表；然后再在HIVE中用外表映射到已建立好的HBase表中
在HBase中已经存储了某一张表hbase_emp_table，然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表，使之可以借助Hive-sql来分析HBase这张表中的数据。建立这样的外表，数据也是在hbase中存放，hive会在hdfs中创建目录，但没有数据文件。
一般的情况Hbase的数据可能先存在要怎么关联到Hive中( 这类是外链表删除Hive中的表不影响Hbase中的数据 )
注意：在创建hive的外表时，可以引用hbase中不存在列
同样，不能使用load data命令给外表加载数据，因为该表使用HBaseStorageHandler创建的：
- 删除hive表对hbase没有影响；
- 但是先删除hbase表hive就会报TableNotFoundException；
创建外部表：
create external table relevance_hbase_emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ("hbase.columns.mapping"=":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
tblproperties ("hbase.table.name"="hbase_emp_table");
关联后就可以使用Hive函数进行一些分析操作了
hive (default)> select * from relevance_hbase_emp;
hbase中已有表，去关联它，创建外部表即可;hive中删表,数据在hbase中还是存在的；
多列和多列族
例如： hbase中id，name，age可拆分成多个Hive表：
CREATE EXTERNAL TABLE test_hbase_1 ( id STRING, name STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.table.name'='test:table1', 'hbase.mapred.output.outputtable'='test:table1', 'hbase.columns.mapping'=':key,f:name') CREATE EXTERNAL TABLE test_hbase_2 ( id STRING, age STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ( 'hbase.table.name'='test:table1', 'hbase.mapred.output.outputtable'='test:table1', 'hbase.columns.mapping'=':key, f:age'); drop table test_hbase_3; CREATE EXTERNAL TABLE test_hbase_3 ( id STRING, name STRING, age STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ( 'hbase.table.name'='test:table1', 'hbase.mapred.output.outputtable'='test:table1', 'hbase.columns.mapping'=':key,f:name,f:age')
可以看到，同一张HBase表可以映射多张 Hive 外部表，并且查询列互不影响。
可见向不同 Hive 外部表中插入数据是不会影响HBase其他列的。
insert into 与 insert overwrite 操作HBase-Hive映射外部表结果是一样的，且均是基于Hive表所属列进行更新，不会影响其他列的值。
注意点
1、HBase 中的空 cell 在 Hive 中会补 null
2、Hive 和 HBase 中不匹配的字段会补 null
3、Bytes 类型的数据，建 Hive 表示加#b, 因为 HBase 中 double，int , bigint 类型以byte方式存储时，用字符串取出来必然是乱码。
4、其中:key代表的是 HBase 中的 rowkey, Hive 中也要有一个 key 与之对应, 不然会报错, cf 指的是 HBase 的列族, 创建完后,会自动把 HBase 表里的数据同步到 Hive 中
使用Hive集成HBase表的需注意
- 对HBase表进行预分区，增大其MapReduce作业的并行度
- 合理的设计rowkey使其尽可能的分布在预先分区好的Region上
- 通过set hbase.client.scanner.caching设置合理的扫描缓存
2. MapReduce
用MapReduce将数据从本地文件系统导入到HBase的表中，
比如从HBase中读取一些原始数据后使用MapReduce做数据分析。
结合计算型框架进行计算统计
查看HBase的MapReduce任务的执行，把jar打印出来的就是需要添加到hadoop的CLASSPATH下的jar包
$ bin/hbase mapredcp
环境变量的导入
（1）执行环境变量的导入（临时生效，在命令行执行下述操作）
$ export HBASE_HOME=/opt/module/hbase $ export HADOOP_HOME=/opt/module/hadoop-2.7.2 $ export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`
（2）永久生效
在etc/hadoop下hadoop-env.sh中配置：（注意：在for循环之后配）,要重启下才生效 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*
运行官方的MapReduce任务
-- 案例一：统计Student表中有多少行数据; 要在hbase中先有student表 $ /opt/module/hadoop-2.7.2/bin/yarn jar lib/hbase-server-1.3.1.jar rowcounter student -- 案例二：使用MapReduce将hdfs数据导入到HBase 1）在本地创建一个tsv格式的文件：fruit.tsv Apple Red Pear Yellow Pineapple Yellow 2）创建HBase表 hbase(main):001:0> create 'fruit','info' 3）在HDFS中创建input_fruit文件夹并上传fruit.tsv文件 [kris@hadoop101 hadoop-2.7.2]$ hdfs dfs -mkdir /hbase/input_fruit [kris@hadoop101 datas]$ hadoop fs -put fruit.tsv /hbase/input_fruit //把表名写死了;不写死可以通过命令行run(String[] args)传参 [kris@hadoop101 hadoop-2.7.2]$ bin/yarn jar HbaseTest-1.0-SNAPSHOT.jar com.atguigu.mr.ReadFromTableDriver bin/yarn jar HbaseTest-1.0-SNAPSHOT.jar com.atguigu.mr2.ReadFromHdfsDriver /fruit.tsv fruit_mr //给它传参数 4）执行MapReduce到HBase的fruit表中 [kris@hadoop101 hadoop-2.7.2]$ bin/yarn jar /opt/module/hbase-1.3.1/lib/hbase-server-1.3.1.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit /hbase/input_fruit //hdfs://hadoop101:9000/这个可省略 5）使用scan命令查看导入后的结果 hbase(main):001:0> scan ‘fruit’
① 将fruit表中的一部分数据，通过MR迁入到fruit_mr表中。
从hbase中读取数据;
输入的k,v类型已经写好(ImmutableBytesWritable key，Result value)，要自定义输出类型k,v
ReadFromTableMapper.java //把hbase中的fruit表中的一部分数据，通过MR迁入到fruit_mr表, fruit_mr要先在hbase中创建好。 public class ReadFromTableMapper extends TableMapper<ImmutableBytesWritable, Put> { @Override protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException { //1.获取rowkey//不可变的字节数组，按rowkey来读；scan扫描的封装到了result(1行里边的所有数据） byte[] rowkey = key.get(); //2.创建put对象 Put put = new Put(rowkey); //创建put对象时要指定rowkey //3.添加列的信息 for (Cell cell : value.rawCells()) { //获取这1列的所有cell if ("info".equals(Bytes.toString(CellUtil.cloneFamily(cell)))){ if ("name".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){ put.add(cell); }else if ("color".equals(Bytes.toString(CellUtil.cloneQualifier(cell)))){ put.add(cell); } } } context.write(key, put); } } ReadFromTableReducer.java // TableReducer<KEYIN, VALUEIN, KEYOUT> extends Reducer<KEYIN, VALUEIN, KEYOUT, Mutation> //Mutation，Delete和Put都是它的子类；Hbase中每次操作可看做mutation这个类; Put已经封装了rowkey等所有数据 reducer初始化没有用到nullwritable public class ReadFromTableReducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> { @Override protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException { for (Put put : values) { context.write(NullWritable.get(), put); } } } ReadFromTableDriver.jva //实现Tool接口，执行任务时用ToolRunner调 public class ReadFromTableDriver implements Tool { private Configuration configuration = null; public int run(String[] strings) throws Exception { //获取任务并设置 //1.获取job对象 Job job = Job.getInstance(configuration); //2.设置job对象 job.setJarByClass(ReadFromTableDriver.class); Scan scan = new Scan();//在这里传参数StartRow StopRow scan.setCacheBlocks(true); //设置缓存 scan.setCaching(100); //扫100条数据再跟Hbase的server端交互，减少次数 TableMapReduceUtil.initTableMapperJob("fruit", scan, //mapper去读数据; ReadFromTableMapper.class, ImmutableBytesWritable.class,//k v; fruit可通过args[0]传参 Put.class, job); TableMapReduceUtil.initTableReducerJob("fruit_mr", //插入数据的表 //工具类初始化map，reduce ReadFromTableReducer.class, job); boolean b = job.waitForCompletion(true); return b ? 0 : 1; //1表false } public void setConf(Configuration conf) { //hadoop的8个配置文件封装到Configuration中 this.configuration = conf; } public Configuration getConf() { return configuration; } public static void main(String[] args) throws Exception { int run = ToolRunner.run(new ReadFromTableDriver(), args); //最终调用的是上边的run方法；tool对象即ReadFromTableDriver的对象 System.exit(run);//run为0或1 } }
打包运行任务
$ /opt/module/hadoop-2.7.2/bin/yarn jar hbase-0.0.1-SNAPSHOT.jar com.atguigu.mr.ReadFromTableDriver
②实现将HDFS中的数据写入到HBase表中。
写入到Hbase；泛型,输入k,value；value已定义好immutaion;需自定义k
public class ReadFromHdfsTableMapper extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> { private ImmutableBytesWritable k = new ImmutableBytesWritable(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { //1.获取1行 String line = value.toString(); //2.切割 String[] fields = line.split("\t"); //3.获取put对象 String rowkey = fields[0]; Put put = new Put(Bytes.toBytes(rowkey)); //添加列信息| 列族/列名 put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes(fields[1])); put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("color"), Bytes.toBytes(fields[2])); context.write(k, put); } } public class ReadFromHdfsTableReducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> { @Override protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException { for (Put put : values) { context.write(NullWritable.get(), put); } } } public class ReadFromHdfsDriver implements Tool { private Configuration configuration; public int run(String[] args) throws Exception { Job job = Job.getInstance(); job.setJarByClass(ReadFromTableDriver.class); job.setMapperClass(ReadFromTableMapper.class); job.setMapOutputKeyClass(ImmutableBytesWritable.class); job.setMapOutputValueClass(Put.class); //设置文件路径 FileInputFormat.setInputPaths(job, new Path(args[0])); TableMapReduceUtil.initTableReducerJob(args[1], ReadFromTableReducer.class, job); boolean b = job.waitForCompletion(true); return b ? 0 : 1; } public void setConf(Configuration conf) { configuration =conf; } public Configuration getConf() { return configuration; } public static void main(String[] args) throws Exception { int run = ToolRunner.run(new ReadFromTableDriver(), args); //传Tool对象 System.exit(run); } }
打包运行 $ /opt/module/hadoop-2.7.2/bin/yarn jar hbase-0.0.1-SNAPSHOT.jar com.atguigu.mr2.ReadFromHdfsDriver 提示：运行任务前，如果待数据导入的表不存在，则需要提前创建之。
hadoop jar
yarn jar
8032rm和yarn的通信端口号
