hadoop经常使用的压缩算法总结和实验验证
压缩格式总表
|
压缩格式 |
工具 |
算法 |
扩展名 |
是否可切分 |
|
DEFLATE |
N/A |
DEFLATE |
.deflate |
No |
|
gzip |
gzip |
DEFLATE |
.gz |
No |
|
bzip2 |
bzip2 |
bzip2 |
.bz2 |
Yes |
|
LZO |
lzop |
LZO |
.lzo |
No |
|
LZ4 |
N/A |
LZ4 |
.lz4 |
No |
|
Snappy |
N/A |
Snappy |
.snappy |
No |
压缩算法的时间空间权衡
全部的压缩算法都是时间和空间的转换。更快的压缩时间还是更小的压缩比，能够通过參数来指定，-1意味着速度，-9意味着空间。
比如：
Gzip -1 file
压缩算法的速度和压缩比例的特点
|
压缩算法 |
特点 |
速度和压缩比 |
|
DEFLATE |
标准压缩算法，没有生成它的经常使用命令行工具，通常都是用Gzip格式，也就是在deflate格式上加入gzip的文件头和文件尾。.deflate扩展名是hadoop定义的 |
—— |
|
Gzip |
DEFLATE为基础扩展出来的一种算法； 通用压缩工具。时间和空间消耗比較折中 |
折中 |
|
Bzip2 |
压缩效果最好，可是压缩和解压速度最慢； 本身的解压速度比压缩速度快 |
压缩效果最好，速度最慢 |
|
LZO |
比gzip速度快，可是压缩效果不好 |
压缩效果不好。 速度快 |
|
LZ4 |
比gzip速度快，可是压缩效果不好。 解压比LZO快 |
压缩效果不好， 速度快 |
|
Snappy |
压缩效果不好， 速度快 |
实验验证
以下是在某公司利用真实的交易数据进行的压缩測试。因为LZO没有安装对应组件未做測试。
从真实的实验能够看出，snappy用时最短。bzip2用时最长。Deflate实际上採用了Gzip算法，所以用时和压缩率接近。因为实验只做了一次。再加上測试时间不同，集群性能可能也会有差异。理论上LZ4应该比gzip快。
|
压缩算法 |
表名 |
压缩时间 |
total time |
原大小 |
压缩后大小 |
压缩比 |
|
Gzip |
a |
333.276 s |
0 hours 23 min 28 s |
71.9G |
8.1 G |
7.9% |
|
b |
321.246 s |
229.7 G |
9.4 G |
|||
|
c |
281.316 s |
109.9 G |
7.6 G |
|||
|
d |
379.03 s |
71.9 G |
13.2 G |
|||
|
e |
73.333 s |
5.8 G |
276.0 M |
|||
|
|
||||||
|
bzip2 |
a |
481.926 s |
0 hours 32 min 10 s |
71.9G |
6.3 G |
6.6% |
|
b |
478.724 s |
229.7 G |
8.3 G |
|||
|
c |
404.097 s |
109.9 G |
6.4 G |
|||
|
d |
424.537 s |
71.9 G |
11.0 G |
|||
|
e |
125.326 s |
5.8 G |
217.6 M |
|||
|
|
||||||
|
deflate |
a |
250.34 s |
0 hours 20 min 52 s |
71.9G |
8.1 G |
7.9% |
|
b |
301.89 s |
229.7 G |
9.4 G |
|||
|
c |
264.25 s |
109.9 G |
7.6 G |
|||
|
d |
337.296 s |
71.9 G |
13.2 G |
|||
|
e |
73.91 s |
5.8 G |
275.9 M |
|||
|
|
||||||
|
LZ4 |
a |
459.488 s |
0 hours 30 min 27 s |
71.9G |
15.2 G |
13.4% |
|
b |
478.385 s |
229.7 G |
16.1 G |
|||
|
c |
399.978 s |
109.9 G |
12.5 G |
|||
|
d |
412.668 s |
71.9 G |
21.2 G |
|||
|
e |
60.985 s |
5.8 G |
509.6 M |
|||
|
|
||||||
|
Snappy |
a |
216.268 s |
0 hours 19 min 6 s |
71.9G |
14.0 G |
13% |
|
b |
281.972 s |
229.7 G |
16.0 G |
|||
|
c |
241.483 s |
109.9 G |
12.2 G |
|||
|
d |
322.299 s |
71.9 G |
20.7 G |
|||
|
e |
63.202 s |
5.8 G |
548.5 M |
以上採用hive进行測试，每次新建一个rcfile格式的表。从原始数据insert overwrite select进行数据导入，在运行脚本之前设置压缩算法，压缩算法的设置例如以下：
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; set mapred.min.split.size=536870912; set mapred.min.split.size.per.node=536870912; set mapred.min.split.size.per.rack=536870912; set mapred.output.compress=true; --设置压缩功能开启 SET hive.exec.compress.output=true; --设置压缩编码 SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; --SET mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; --SET mapred.output.compression.codec=org.apache.hadoop.io.compress.Lz4Codec; --SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; --SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;--deflate --SET mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec; --设置压缩类型block SET mapred.output.compression.type=BLOCK; set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;
