redis基础10-一致性哈希算法和哈希槽算法
一致性哈希算法产生的背景:
Redis集群,为了让缓存key均匀的散列到每个服务器,采用哈希算法,让缓存的key能够均匀的分布到各个服务器。
hash(key)%N key为缓存主键 N表示redis服务器个数
那么可能存在哪些问题?
当Redis服务器扩容后,哈希算法对应的N的数量调整,那么缓存的key要根据重新计算。
- 重新计算过缓存位置,要进行迁移。当数据量很大的时候就会消耗很多资源对key进行迁移
- 迁移数据较多时可能会造成短时间内缓存失效,造成缓存雪崩的可能。
为了避免上面的问题,一致性哈希算法随之产生。
一致性哈希算法的实现原理
致性哈希算法相较于哈希算法具备的原则
平衡性:尽可能分散到所有节点
单调性:新增或删除节点不影响正常运行
分散性:指数据应该分散地存放在分布式集群中的各个节点(节点自己可以有备份),不必每个节点都存储所有的数据
负载:任一缓冲节点的负载节点应该全量存储当前缓存主节点的所有数据
节点增减过程哈希一致性算法的逻辑
数据倾斜问题
什么是数据倾斜?
哈希算法本身具有离散性,当数据过多的时候可能会出现节点数据散列不均匀的情况,这种散列不均匀的情况就是数据倾斜。
如何避免数据倾斜呢?
每个真实节点增加虚拟节点,虚拟节点散列分布哈希环中,虚拟节点越多,可以获取更多的散列数据,也能然数据更多的散列到各个节点上面
散列性越高,则分布越均匀
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· 葡萄城 AI 搜索升级:DeepSeek 加持,客户体验更智能
· 什么是nginx的强缓存和协商缓存
· 一文读懂知识蒸馏