谷歌的Snappy压缩算法

很多时候,我们需要快速的压缩大量的数据,在磁盘IO和cpu之间做一个权衡,以便使程序跑得更快。Snappy就是这样一种快速的数据压缩算法。对于一个核的i7处理器(64位模式),能达到250M/s以上的处理速度。

Snappy通常在达到相当压缩的情况下,要比同类的快速的压缩算法,如LZO,LZF,FastLZ和QuickLZ快。它对纯文本的压缩比大概是1.5~1.7x,对HTML网页是2-4x,对图片等二进制数据基本没有压缩,为1x。

Snappy分别对64位和32位处理器进行了优化,不论32位处理,还是64位处理器都能达到很高的效率。据官方介绍,Snappy经过了pb级别的大数据的考验,稳定性方便没有问题,Google的很多框架如map reduce、rpc等都用到了Snappy压缩算法。

我目前在写mapreduce的程序的时候就用的改压缩算法,效果还不错。

Snappy的开源代码放在google code上:http://code.google.com/p/snappy/,采用New BSD License开源。

posted on 2011-11-28 14:13  小橋流水  阅读(2946)  评论(0编辑  收藏  举报

导航