Hive-文件存储格式

Hive-文件格式

TEXTFILE

描述

TEXTFILE是普通的文本型文件，是Hadoop里最常用的输入输出格式，也是Hive的默认文件格式。

输入输出包

org.apache.hadoop.mapred.TextInputFormat

org.apache.hadoop.mapred.TextOutputFormat

SEQUENCEFILE

描述

Sequence文件是由二进制键值对组成的平面文件。Hive将查询转换成MapReduce作业时，决定一个给定记录的哪些键/值对被使用，Sequence文件是可分割的二进制格式，主要的用途是联合多个小文件

Hadoop处理少量大文件比大量小文件的性能要好。如果文件小于Hadoop定义的块大小(Hadoop 2.x默认是128MB)，可以认为是小文件。元数据的增长将转化为NameNode的开销。如果有大量小文件，NameNode会成为性能瓶颈。为了解决这个问题，Hadoop引入了Sequence文件，将Sequence作为存储小文件的容器

输入输出包

org.apache.hadoop.mapred.SequenceFileInputFormat

org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

RCFILE

描述

RCFILE指的是Record Columnar File，是一种高压缩率的二进制文件格式，被用于在一个时间点操作多行的场景。RCFILE是由二进制键/值对组成的平面文件，这点与SEQUENCEFILE非常相似。

RCFILE以记录的形式存储表中的列，即列式存储。它先分割行做水平分区，然后分割列做垂直分区。RCFILE把一行的元数据作为键，把行数据作为值。这种面向列的存储在执行数据分析时更高效

输入输出包

org.apache.hadoop.hive.ql.io.RCFileInputFormat

org.apache.hadoop.hive.ql.io.RCFileOutputFormat

ORCFILE

描述

ORC指的是Optimized Record Columnar,相对于其他文件格式，它以更优化的方式存储数据。ORC能将原始数据的大小所见75%。从而提升了数据处理的速度。

ORC比Text、Sequence和RC文件格式有更好的性能，而且ORC是目前Hive中唯一支持事务的文件格式。

输入输出包

org.apache.hadoop.hive.ql.io.orc

 

文件格式选取

如果数据有参数化的分隔符，可以选择TEXTFILE格式

如果数据所在文件比块尺寸小，可以选择SEQUENCEFILE格式

如果像执行数据分析，并高效的存储数据，可以选择RCFILE

如果希望减小数据所需的存储空间并提升性能，可以选择ORCFILE格式