Note: Migratory Compression: Coarse-grained Data Reordering to Improve Compressibility
思路/方法
设计了Migratory Compression。
调整chunk相对位置,将相似chunk排列在一起,通过压缩来减少data store占用的实际存储空间。
https://en.wikipedia.org/wiki/Delta_encoding
工作量
- mzip: 单文件上进行Migratory Compression - 三种途径调整chunk顺序(In-Memory、Chunk-level、Multi-pass)
- Intra-file Delta Compression: 单文件用delta编码
- 基于DDFS做mzip
- 三个数据集(WorkstationBackup、EmailServerBackup、VMImage)
- 测试bzip2、7z、rzip(有无MC)
- 在内存文件系统、SSD、HDD上进行实验。
- 敏感性分析:chunkSize、chunkingAlgorithm、压缩窗口大小、chunk相似度
- 在DDFS的基础上实现MC