Hive分区表和桶表的使用

原文链接：

https://www.toutiao.com/i6766897068138037763/?group_id=6766897068138037763

 

我们看官网文档中这个地方

 

我们先创建好数据库，以供练习

 

使用数据库

 

我们创建数据表

 

 

我们创建分区表，选取的字段不能是表中存在的字段

 

 

元数据信息

 

Formatted信息

 

那我们加载信息

load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);

 

我们查看数据

 

我们看下HDFS上，是目录的形式

 

 

所以我们可以多加载几份数据

 

 

查看数据和HDFS上

 

 

也可以创建二级分区

 

 

载入数据

 

 

查看下数据

 

查看下元数据

 

再看下HDFS

 

 

 

 

我们就可以依据条件查询使用where语句

 

注：分区表可以提高查询的效率。

我们再看这个地方-桶表

 

这个和分区表不一样的地方，选取字段必须是表里的字段

我们准备个员工表

 

 

我们创建下桶表

 

 

我们加载下数据

 

看下HDFS

 

实际在桶表中，我们应该使用另外一种语句

 

运行过程

 

出现了点问题

 

三个节点时间不同步，设定下时间

date -s "2019-12-5 17:50:00"

再执行就可以了

 

查看结果

 

我们看HDFS上

 

我们查看下文件，已经分开了，如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。

 

注：其中桶表查询还有下面的语句，可以仔细研究下，暂时先放一放，后续学习深入再了解。

Select * from table tablesample(bucket 1 out of 2)

Tablesample是抽样数据，语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小，决定抽样比例。例如：table总共分为64份，当y=32时，抽取(64/32)2个bucket数据；当y=128时，抽取(64/128)1/2个bucket数据，x表示从哪个bucket开始抽取，例如table总bucket数为32，tablesample(3 out of 16)，表示总共抽取(32/16)2个bucket数据，分别为第3个bucket和第(3+16)19个bucket数据。