分布式存储系统大数据同步方面的两个问题
1、用户A修改了一个文件,上传到了存储系统中,而在另一个用户B的缓存中也有该文件,且该文件很大。如何同步数据?
客户B需要将自己的缓存分块计算hash值,发给datacenter;datacenter找到相同的块,然后将不同的部分回复给客户端。举例如下:
http://blog.csdn.net/russell_tao/article/details/7240661
2、存储系统在增加一个文件的时候,若此前已经存在了一个相同或相似的文件,则不需要重复存储,避免冗余。此问题为数据去重。
不同标准分为两类:暂存用户数据到临时存储区然后异步去重/用户上传时直接去重 和 固定长度分块/不定长度分块。详情请见:
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步