hadoop之数据压缩与数据格式
* 注：本文原创，转载请注明出处，本人保留对未注明出处行为的责任追究。
a.数据压缩
优点: 1.节省本地空间 2.节省带宽
缺点: 花时间
1.MR中允许进行数据压缩的地方有三个:
1)input起点 2)map处理之后 3)reduce处理之后进行存储
2.压缩格式
常见的压缩计数有bzip2、gzip、lzo、snappy.它们之间的性能比较如下:
压缩比 : bzip2>gzip>lzo = snappy ,bzip2最节省空间
解压速度 :lzo = snappy > gzip > bzip2 , lzo解压速度是最快的
另外Google研发的snappy的压缩格式，嵌入在hadoop中，因为其可靠性和性能的均衡性，非常受到大家欢迎。
snappy压缩格式的性能与lzo差不多，都是属于压缩解压块，但是压缩比高的类型。以下是它们的一些详细参数:
| 压缩比 | 压缩速率 | 解压速率 | |
| gzip/deflate | 13.4% | 21MB/s | 118MB/s |
| bzip2 | 13.2% | 2.4MB/s | 9.5MB/s |
| lzo | 20.5% | 135MB/s | 410MB/s |
| snappy | 22.2% | 172MB/s | 409MB/s |
（本表数据来源于博客: https://blog.csdn.net/zhouyan8603/article/details/82954459 , 感谢玉羽凌风!）
3.mr中如何使用数据压缩？
刚才谈到了三个可以进行压缩的地方，这里分别说明:
1)输入时，hadoop依据文件格式进行自动识别并解压，这个是自动的，不需要关心太多
2）在map之后有一个可以压缩的点，需要配置以下两个参数进行压缩:
mapreduce.map.output.compress - false/true - 在 map处理后是否启用压缩
mapreduce.map.output.compress.codec – 选择编解码器
3）在reduce之后有一个可以压缩的点，需要配置以下三个参数进行压缩:
mapreduce.output.fileoutputformat.compress – false/true – 在 reduce后是否压缩
mapreduce.output.fileoutputformat.compress.codc – 选择编解码器
mapreduce.output.fileoutputformat.compress.type – RECORD/BLOCK/NONE 其中RECORD是针对记录的压缩，BLOCK是针对块的压缩
其中使用RECORD压缩率比较低，因此一般使用BLOCK。
**注:hadoop支持的编解码器 - 配置中需要用到：
Zlib → org.apache.hadoop.io.compress.Default.Codec
其中Zlib是MR使用的默认压缩格式，当指定上面的bool值为true且没有指定codec的情况下，默认使用这个Codec
Gzip → org.apache.hadoop.io.compress.GzipCodec
Bzip2 → org.apache.hadoop.io.compress.BZip2Codec
Lzo → com.hadoop.compression.lzo.LzoCodec
Lz4 → org.apache.hadoop.io.coompress.Lz4Codec
Snappy → org.apache.hadoop.io.compress.SnappyCodec
其他关于压缩问题的补充: https://www.cnblogs.com/ggjucheng/archive/2012/04/22/2465580.html
4.hive中如何使用数据压缩?
（注：本图引自北风网）
1）Input处的数据压缩，需要在创建表的时候指定
2）map之后的数据压缩需要设置三个参数:
hive.exec.compress.intermediate - true
mapred.map.output.compress.codec – 选择编解码器
mapred.map.output.compress.codec - RECORD/BLOCK
3）reduce之后的数据压缩需要设置三个参数:
hive.exec.compress.output - true
mapred.output.compression.codec - 编解压器
mapred.output.compression.type - RECORD/BLOCK
b.数据存储格式
在创建Hive表的时候，我们可以用STORED AS关键字来指定数据存储格式。
Hadoop支持的常见的存储格式有以下几种:
1.hadoop支持的文件存储格式，比较典型的有(需要记住):
* 按行存储
SEQUENCEFILE TEXTFILE
* 按列存储
RCFILE ORC PARQUET
2.行式存储与列式存储的比较
1）列式存储每一列单独摘出来存放，行式存储按行存放。
这就导致行式存储进行查询时，需要把每一行完整的读进去。而列式存储只需要找到指定的几行，读这几行就可以。
2）因此列式存储不适用于更新多，整表查询的场景，适用于只查询不更新，并且查询主要集中于某几列的场景。因此其常用于OLAP业务。
行式存储在只查询几列数据的时候，性能不如列式 存储。但是它灵活可以变动，适用于修改、实时交互的场景。因此常用于OLTP业务。
* 注意:HBase 的“列式数据库”是指数据的逻辑模型是支持列可扩展的，而实际的存储模型是JSON实现的行式存储。
企业里用的比较多的列式压缩式ORC以及Apache的Parquet.
(来源:https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/)
在上图中，我们可以看到不同存储格式，占用的存储空间不同。
3.ORCFile的存储格式
感谢 https://www.cnblogs.com/ITtangtang/p/7677912.html !
4.Parquet存储格式
TODO
