|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&Redis.V08|——|Redis.v08|分区原理|
一、RedisCluster分区:RedisCluster分区原理
### --- 官方cluster分区
~~~ Redis3.0之后,Redis官方提供了完整的集群解决方案。
~~~ 方案采用去中心化的方式,
~~~ 包括:sharding(分区)、replication(复制)、failover(故障转移)。
~~~ 称为RedisCluster。
~~~ Redis5.0前采用redis-trib进行集群的创建和管理,需要ruby支持
~~~ Redis5.0可以直接使用Redis-cli进行集群的创建和管理
二、部署架构

### --- 去中心化
~~~ RedisCluster由多个Redis节点组构成,是一个P2P无中心节点的集群架构,
~~~ 依靠Gossip协议传播的集群。
### --- Gossip协议
~~~ Gossip协议是一个通信协议,一种传播消息的方式。
~~~ 起源于:病毒传播
~~~ Gossip协议基本思想就是:
~~~ 一个节点周期性(每秒)随机选择一些节点,并把信息传递给这些节点。
~~~ 这些收到信息的节点接下来会做同样的事情,即把这些信息传递给其他一些随机选择的节点。
~~~ 信息会周期性的传递给N个目标节点。这个N被称为fanout(扇出)
~~~ gossip协议包含多种消息,包括meet、ping、pong、fail、publish等等。
~~~ 通过gossip协议,cluster可以提供集群间状态同步更新、选举自助failover等重要的集群功能。
命令 | 说明 |
meet | sender向receiver发出,请求receiver加入sender的集群 |
ping | 节点检测其他节点是否在线 |
pong | receiver收到meet或ping后的回复信息;在failover后,新的Master也会广播pong |
fail | 节点A判断节点B下线后,A节点广播B的fail信息,其他收到节点会将B节点标记为下线 |
poblish | 节点A收到publish命令,节点A执行该命令,并向集群广播publish命令,收到publish命令的节点都会执行相同的publish命令 |
### --- slot
~~~ redis-cluster把所有的物理节点映射到[0-16383]个slot上,
~~~ 基本上采用平均分配和连续分配的方式。
~~~ 比如上图中有5个主节点,这样在RedisCluster创建时,slot槽可按下表分配:
~~~ cluster 负责维护节点和slot槽的对应关系 value------>slot-------->节点
节点名称 | slot范围 |
Redis1 | 0-3270 |
Redis2 | 3271-6542 |
Redis3 | 6543-9814 |
Redis4 | 9815-13087 |
Redis5 | 13088-16383 |
~~~ # 当需要在 Redis 集群中放置一个 key-value 时,
~~~ redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,
~~~ 这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,
~~~ redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。
~~~ # 比如:
~~~ set name zhaoyun
~~~ hash("name")采用crc16算法,得到值:1324203551%16384=15903
~~~ 根据上表15903在13088-16383之间,所以name被存储在Redis5节点。
~~~ slot槽必须在节点上连续分配,如果出现不连续的情况,则RedisCluster不能工作,详见容错。
三、RedisCluster的优势
~~~ # 高性能
~~~ Redis Cluster 的性能与单节点部署是同级别的。
~~~ 多主节点、负载均衡、读写分离
~~~ # 高可用
~~~ Redis Cluster 支持标准的 主从复制配置来保障高可用和高可靠。
~~~ failover
~~~ Redis Cluster 也实现了一个类似 Raft 的共识方式,来保障整个集群的可用性。
~~~ # 易扩展
~~~ 向 Redis Cluster 中添加新节点,或者移除节点,都是透明的,不需要停机。
~~~ 水平、垂直方向都非常容易扩展。
~~~ 数据分区,海量数据,数据存储
~~~ # 原生
~~~ 部署 Redis Cluster 不需要其他的代理或者工具,
~~~ 而且 Redis Cluster 和单机 Redis 几乎完全兼容。
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
——W.S.Landor
分类:
bdv012-redis
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通