谷歌的Snappy压缩算法
很多时候,我们需要快速的压缩大量的数据,在磁盘IO和cpu之间做一个权衡,以便使程序跑得更快。Snappy就是这样一种快速的数据压缩算法。对于一个核的i7处理器(64位模式),能达到250M/s以上的处理速度。
Snappy通常在达到相当压缩的情况下,要比同类的快速的压缩算法,如LZO,LZF,FastLZ和QuickLZ快。它对纯文本的压缩比大概是1.5~1.7x,对HTML网页是2-4x,对图片等二进制数据基本没有压缩,为1x。
Snappy分别对64位和32位处理器进行了优化,不论32位处理,还是64位处理器都能达到很高的效率。据官方介绍,Snappy经过了pb级别的大数据的考验,稳定性方便没有问题,Google的很多框架如map reduce、rpc等都用到了Snappy压缩算法。
我目前在写mapreduce的程序的时候就用的改压缩算法,效果还不错。
Snappy的开源代码放在google code上:http://code.google.com/p/snappy/,采用New BSD License开源。

本文基于署名 2.5 中国大陆许可协议发布,欢迎转载,演绎或用于商业目的,但是必须保留本文的署名小橋流水(包含链接)。如您有任何疑问或者授权方面的协商,请给我发邮件。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· [AI/GPT/综述] AI Agent的设计模式综述