谷歌的Snappy压缩算法

很多时候,我们需要快速的压缩大量的数据,在磁盘IO和cpu之间做一个权衡,以便使程序跑得更快。Snappy就是这样一种快速的数据压缩算法。对于一个核的i7处理器(64位模式),能达到250M/s以上的处理速度。

Snappy通常在达到相当压缩的情况下,要比同类的快速的压缩算法,如LZO,LZF,FastLZ和QuickLZ快。它对纯文本的压缩比大概是1.5~1.7x,对HTML网页是2-4x,对图片等二进制数据基本没有压缩,为1x。

Snappy分别对64位和32位处理器进行了优化,不论32位处理,还是64位处理器都能达到很高的效率。据官方介绍,Snappy经过了pb级别的大数据的考验,稳定性方便没有问题,Google的很多框架如map reduce、rpc等都用到了Snappy压缩算法。

我目前在写mapreduce的程序的时候就用的改压缩算法,效果还不错。

Snappy的开源代码放在google code上:http://code.google.com/p/snappy/,采用New BSD License开源。

posted on   小橋流水  阅读(2965)  评论(0编辑  收藏  举报

编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· [AI/GPT/综述] AI Agent的设计模式综述

导航

统计

点击右上角即可分享
微信分享提示