谷歌的Snappy压缩算法
很多时候,我们需要快速的压缩大量的数据,在磁盘IO和cpu之间做一个权衡,以便使程序跑得更快。Snappy就是这样一种快速的数据压缩算法。对于一个核的i7处理器(64位模式),能达到250M/s以上的处理速度。
Snappy通常在达到相当压缩的情况下,要比同类的快速的压缩算法,如LZO,LZF,FastLZ和QuickLZ快。它对纯文本的压缩比大概是1.5~1.7x,对HTML网页是2-4x,对图片等二进制数据基本没有压缩,为1x。
Snappy分别对64位和32位处理器进行了优化,不论32位处理,还是64位处理器都能达到很高的效率。据官方介绍,Snappy经过了pb级别的大数据的考验,稳定性方便没有问题,Google的很多框架如map reduce、rpc等都用到了Snappy压缩算法。
我目前在写mapreduce的程序的时候就用的改压缩算法,效果还不错。
Snappy的开源代码放在google code上:http://code.google.com/p/snappy/,采用New BSD License开源。
本文基于署名 2.5 中国大陆许可协议发布,欢迎转载,演绎或用于商业目的,但是必须保留本文的署名小橋流水(包含链接)。如您有任何疑问或者授权方面的协商,请给我发邮件。