深入理解hive之事务处理
事务的四个特性
1.automicity：原子性
2.consistency:一致性
3. isolation:独立性
4.durability:持久性
5.支持事务有几个条件需要满足：1.所有的事务都支持自动提交；2.只支持ORC格式的数据；3.桶表
7.配置hive的参数使其支持事务：
在hive-site.xml文件中进行如下的配置
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.exec.dynamic.partition.mode</name>
<value>nonstrict</value>
</property>
<property>
<name>hive.txn.manager</name>
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
<name>hive.compactor.initiator.on</name>
<value>true</value>
</property>
<property>
<name>hive.compactor.worker.threads</name>
<value>1</value>
</property>
<property>
<name>hive.enforce.bucketing</name>
<value>true</value>
</property>
对几个重要的属性做阐述：
hive.exec.dynamic.partition.mode:
可选值有：strict, nonstric.
strict严格模式下，必须制定一个partition为静态分区，目的是为了防止误操作其他partition.
在一个事务中，可能不止会更新一个Partition, 而且更新时也无法控制到底哪些partition会被操作到，因此为了支持事务，必须使用 Nonstrict.
hive.compactor.initiator.on
默认值是 false, 因为默认的情况连事务都不开启。
这个属性很重要的原因是回答之前我们的一个问题，如果 delta 文件过多，对namenode造成了影响，我们改如何改善系统性能？（在thrift metaserver 上）开启了这个属性之后，会使得在 metaStore 实例上运行 Initiator, cleaner 进程。initiator 进程负责查找哪些表或者分区的 delta 文件需要被压缩，cleaner 进程负责删除已经不再需要的 delta 文件。接下来看看几个hive的事务性操作
$hive>create table tx(id int,name string,age int) clustered by (id) into 3 buckets row format delimited fields terminated by ',' stored as orc ;//创建桶表，存储格式为orc使其支持事务
$hive>desc formatted tx ; //查看tx表的结构
$hive>insert into tx values(1,'tom',23); //向桶表中来插入数据
hive分区
Hive分区的概念与传统关系型数据库分区不同。
传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。
Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。所以我们在插入数据的时候指定分区，就是新建一个目录或者子目录，或者在原来目录的基础上来添加数据。对于hive分区而言，可以分为静态分区和动态分区这两个类
1.静态分区
$hive>create table customers(id int,name string ,age int ) partitioned by(year int,month int) row format delimited fields terminated by ','; //创建静态分区表
$hive>alter table customers add partition(year=2014,month=11) partition(year=2014,month=12);//在静态分区表中来添加分区
$hive>desc customers;//查看表结构
$hive>show partitions customers ; //查看customers表的分区结构
$hive>load data local inpath '/data/customers.txt' into table customers partition(year=2014,year=11); //从外部表加载数据到静态分区表的指定分区中来,这是文件的复制操作
$hive>dfs -lsr /; //查看文件系统的文件结构
$hive>select * from customers where year=2014 and month=11;
新建表的时候定义的分区顺序，决定了文件目录顺序（谁是父目录谁是子目录），正因为有了这个层级关系，当我们查询所有year=1024的时候，2014以下的所有日期下的数据都会被查出来。如果只查询月份分区，但父目录都有该日期的数据，那么Hive会对输入路径进行修剪，从而只扫描日期分区，性别分区不作过滤（即查询结果包含了所有性别）。
2.动态分区
在使用静态分区的时候，我们首先要知道有什么分区类型，然后每个分区来进行数据的加载，这个操作过程比较麻烦；而动态分区不会有这些不必要的操作，动态分区可以根据查询得到的数据动态地分配到分区中去，动态分区与静态分区最大的区别是不指定分区目录，由系统自己进行过选择。
动态分区模式可以分为严格模式(strict)和非严格模式(non-strict),二者的区别是：严格模式在进行插入的时候至少指定一个静态分区，而非严格模式在进行插入的时候可以不指定静态分区
首先启动动态分区的功能：
$hive>set hive.exec.dynamic.partition=true;
再设置分区模式为非严格模式
$hive>set hive.exec.dynamic.partition.mode=nonstrict
