摘要： Data Deduplication：http://en.wikipedia.org/wiki/Data_deduplication数据备份或传输的时候，为了降低存储或带宽开销，做一下压缩是很经常的，这是用CPU的cycle换取存储或带宽。压缩算法已经有很多的，不再赘述。data deduplication是另一种意义上的压缩：通过文件之间或文件块之间的冗余，来进行去重（deduplication）。考虑qq邮箱的超大邮件，会有用户经历过，当上传一个超大文件的时候，经过本地计算以后，页面提示用户说这个文件在服务器上面已经有了，这样就可以不用重新上传了。这就是data deduplication 阅读全文