Hive的存储格式

一、简介

1、hive建表时存储格式

一般情况下hive在创建表时默认的存储格式是textfile，hive常用的存储格式有五种，textfile、sequencefile、rcfile、orc、parquet。

2、五种存储格式的区别

hive五种存储格式的区别
存储格式	文件存储编码格式	建表指定
textfile	将表中的数据在hdfs上以正常文本的格式存储，下载后可以直接查看。	stored as textfile
sequencefile	将表中的数据在hdfs上以二进制格式编码，并将数据压缩，下载的数据是二进制格式，不可以直接查看，无法可视化。	stored as sequecefile
rcfile	将表中的数据在hdfs上以二进制格式编码，并且支持压缩。下载后的数据无法可视化。	stored as rcfile
orc	文件存储方式为二进制文件。orc文件格式从hive0.11版本后提供，是RcFile格式的优化版，主要在压缩编码，查询性能方面做了优化。按行组分割整个表，行组内进行列式存储。	stored as orc
parquet	文件存储方式为二进制文件。parquet基于dremel的数据模型和算法实现，列式存储。	stored as parquet

textfile利弊:

基于行存，每一行就是一条记录。
可以使用任意的分隔符进行分割。
无压缩，造成存储空间大。

sequencefile利弊：

基于行存储。
sequencefile存储格有压缩，存储空间小，有利于优化磁盘和I/O性能。
同时支持文件切割分片，提供了三种压缩方式：none,record,block（块级别压缩效率跟高）.默认是record(记录)。

rcfile利弊：

行列混合的存储格式，基于列存储。
因为基于列存储，列值重复多，所以压缩效率高。
磁盘存储空间小，io小。

orc利弊：

具有很高的压缩比，且可切分；由于压缩比高，在查询时输入的数据量小，使用的task减少，所以提升了数据查询速度和处理性能。每个task只输出单个文件，减少了namenode的负载压力。
在ORC文件中会对每一个字段建立一个轻量级的索引，如：row group index、bloom filter index等，可以用于where条件过滤。
查询速度比rcfile快；支持复杂的数据类型；
无法可视化展示数据；读写时需要消耗额外的CPU资源用于压缩和解压缩，但消耗较少；
对schema演化支持较差；

parquet利弊：

具有高效压缩和编码，是使用时有更少的IO取出所需数据，速度比ORC快，其他方面类似于ORC。
不支持update和ACID。
不支持可视化展示数据。

二、实践操作

下图红框标出的部分是利用hadoop本身InputFormat API从不同的数据源读取数据，OutputFormat API将数据写成不同的格式。所以对于不同的数据源，不同的存储格式就需要不同对应的InputFormat和Outputformat类来实现。

1、textfile

CREATE TABLE teacher(
 name string,
 age int
)row format delimited fields terminated by ','
stored as textfile;

2、sequencefile

CREATE TABLE teacher01(
 name string,
 age int
)stored as sequencefile;

这里没有使用row format delimited fields terminated by ','，是因为没有必要，单纯的load以逗号分隔的文本进去会报错。

FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table.

3、rcfile

CREATE TABLE teacher02(
 name string,
 age int
)stored as rcfile;

这里也没有使用row format delimited fields terminated by ','，是因为没有必要，单纯的load以逗号分隔的文本进去会报错。

4、orc

CREATE TABLE teacher03(
 name string,
 age int
)stored as orc;