redis 主从、哨兵、集群

出处： redis主从复制和哨兵

 

Redis集群方式共有三种：主从模式，哨兵模式，cluster(集群)模式

 

一、Redis主从复制

　　主从复制：主节点负责写数据，从节点负责读数据，主节点定期把数据同步到从节点保证数据的一致性

 

1. 主从复制的相关操作

　　a,配置主从复制方式一、新增redis6380.conf, 加入 slaveof 192.168.152.128 6379, 在6379启动完后再启6380，完成配置；
　　b,配置主从复制方式二、redis-server --slaveof 192.168.152.128 6379 临时生效

　　c,查看状态：info replication
　　d,断开主从复制：在slave节点，执行6380:>slaveof no one
　　e,断开后再变成主从复制：6380:> slaveof 192.168.152.128 6379
　　f,数据较重要的节点，主从复制时使用密码验证： requirepass
　　g,从节点建议用只读模式slave-read-only=yes, 若从节点修改数据，主从数据不一致 
　　h,传输延迟：主从一般部署在不同机器上，复制时存在网络延时问题，redis提供repl-disable-tcp-nodelay参数决定是否关闭TCP_NODELAY,默认为关闭
　　　　参数关闭时：无论大小都会及时发布到从节点，占带宽，适用于主从网络好的场景，
　　　　参数启用时：主节点合并所有数据成TCP包节省带宽，默认为40毫秒发一次，取决于内核，主从的同步延迟40毫秒，适用于网络环境复杂或带宽紧张，如跨机房

2. Redis主从拓扑

a)一主一从：用于主节点故障转移从节点，当主节点的“写”命令并发高且需要持久化，可以只在从节点开启AOF（主节点不需要），这样即保证了数据的安全性，也避免持久化对主节点的影响 

 

b)一主多从：针对“读”较多的场景，“读”由多个从节点来分担，但节点越多，主节点同步到多节点的次数也越多，影响带宽，也加重主节点的稳定

 

c)树状主从：一主多从的缺点（主节点推送次数多压力大）可用些方案解决，主节点只推送一次数据到从节点B，再由从节点B推送到C，减轻主节点推送的压力。

 

3. 主从复制原理

 

4. 数据同步

redis 2.8版本以上使用psync命令完成同步，过程分“全量”与“部分”复制
　　全量复制：一般用于初次复制场景（第一次建立SLAVE后全量）
　　部分复制：网络出现问题，从节点再次连接主节点时，主节点补发缺少的数据，每次数据增量同步
　　心跳：主从有长连接心跳，主节点默认每10S向从节点发ping命令，repl-ping-slave-period控制发送频率

5. 主从的缺点

　　a)主从复制，若主节点出现问题，则不能提供服务，需要人工修改配置将从变主
　　b)主从复制主节点的写能力单机，能力有限
　　c)单机节点的存储能力也有限

6.主从故障如何故障转移

　　a)主节点(master)故障，从节点slave-1端执行 slaveof no one后变成新主节点；
　　b)其它的节点成为新主节点的从节点，并从新节点复制数据；
　　c)需要人工干预，无法实现高可用。

 

二、Redis哨兵机制（Sentinel）

1. 为什么要有哨兵机制？

       哨兵机制的出现是为了解决主从复制的缺点的

2. 哨兵机制(sentinel)的高可用

　　原理：当主节点出现故障时，由Redis Sentinel自动完成故障发现和转移，并通知应用方，实现高可用性。

其实整个过程只需要一个哨兵节点来完成，首先使用Raft算法（选举算法）实现选举机制，选出一个哨兵节点来完成转移和通知

3. 哨兵的定时监控任务

　　任务1：每个哨兵节点每10秒会向主节点和从节点发送info命令获取最拓扑结构图，哨兵配置时只要配置对主节点的监控即可，通过向主节点发送info，获取从节点的信息，并当有新的从节点加入时可以马上感知到

　　任务2：每个哨兵节点每隔2秒会向redis数据节点的指定频道上发送该哨兵节点对于主节点的判断以及当前哨兵节点的信息，同时每个哨兵节点也会订阅该频道，来了解其它哨兵节点的信息及对主节点的判断，其实就是通过消息publish和subscribe来完成的

 　　任务3：每隔1秒每个哨兵会向主节点、从节点及其余哨兵节点发送一次ping命令做一次心跳检测，这个也是哨兵用来判断节点是否正常的重要依据

客观下线：当主观下线的节点是主节点时，此时该哨兵3节点会通过指令sentinel is-masterdown-by-addr寻求其它哨兵节点对主节点的判断，当超过quorum（选举）个数，此时哨兵节点则认为该主节点确实有问题，这样就客观下线了，大部分哨兵节点都同意下线操作，也就说是客观下线

 

4. 领导者哨兵选举流程

　　a)每个在线的哨兵节点都可以成为领导者，当它确认（比如哨兵3）主节点下线时，会向其它哨兵发is-master-down-by-addr命令，征求判断并要求将自己设置为领导者，由领导者处理故障转移；
　　b)当其它哨兵收到此命令时，可以同意或者拒绝它成为领导者；
　　c)如果哨兵3发现自己在选举的票数大于等于num(sentinels)/2+1时，将成为领导者，如果没有超过，继续选举…………

 

5. 故障转移机制

a)由Sentinel节点定期监控发现主节点是否出现了故障

　　sentinel会向master发送心跳PING来确认master是否存活，如果master在“一定时间范围”内不回应PONG 或者是回复了一个错误消息，那么这个sentinel会主观地(单方面地)认为这个master已经不可用了

 

 b) 当主节点出现故障，此时3个Sentinel节点共同选举了Sentinel3节点为领导，负载处理主节点的故障转移

 

 c) 由Sentinel3领导者节点执行故障转移，过程和主从复制一样，但是自动执行

 

 流程：

　　  1. 将slave-1脱离原从节点，升级主节点，

         2. 将从节点slave-2指向新的主节点

         3. 通知客户端主节点已更换

         4. 将原主节点（oldMaster）变成从节点，指向新的主节点

 d) 故障转移后的redis sentinel的拓扑结构图

6. 哨兵机制－故障转移详细流程-确认主节点

　　a) 过滤掉不健康的（下线或断线），没有回复过哨兵ping响应的从节点

　　b) 选择salve-priority从节点优先级最高（redis.conf）的

　　c) 选择复制偏移量最大，指复制最完整的从节点

7. 实战：如何安装和部署哨兵

以3个Sentinel节点、2个从节点、1个主节点为例进行安装部署

1. 前提：先搭好一主两从redis的主从复制，和之前的主从复制搭建一样，搭建方式如下：

　　A）主节点6379节点（/usr/local/bin/conf/redis6379.conf）：

　　　　修改 requirepass 12345678，注释掉#bind 127.0.0.1

　　B) 从节点redis6380.conf和redis6381.conf: 配置都一样

 

　　　　修改 requirepass 12345678 ,注释掉#bind 127.0.0.1,

　　　　加上访问主节点的密码masterauth 12345678 ,加上slaveof 192.168.152.128 6379

    注意：当主从起来后，主节点可读写，从节点只可读不可写

 

2. redis sentinel哨兵机制核心配置(也是3个节点)：

       /usr/local/bin/conf/sentinel_26379.conf  

       /usr/local/bin/conf/sentinel_26380.conf

       /usr/local/bin/conf/sentinel_26381.conf

将三个文件的端口改成: 26379   26380   26381

然后：sentinel monitor mymaster 192.168.152.128 6379 2  //监听主节点6379

      sentinel auth-pass mymaster 12345678     //连接主节点时的密码

三个配置除端口外，其它一样。

 

3. 哨兵其它的配置：只要修改每个sentinel.conf的这段配置即可：

sentinel monitor mymaster 192.168.152.128 6379 2  

//监控主节点的IP地址端口，sentinel监控的master的名字叫做mymaster，2代表，当集群中有2个sentinel认为master死了时，才能真正认为该master已经不可用了

sentinel auth-pass mymaster 12345678  //sentinel连主节点的密码

sentinel config-epoch mymaster 2  //故障转移时最多可以有2从节点同时对新主节点进行数据同步

sentinel leader-epoch mymaster 2

sentinel failover-timeout mymasterA 180000 //故障转移超时时间180s，                            

a,如果转移超时失败，下次转移时时间为之前的2倍；

b,从节点变主节点时，从节点执行slaveof no one命令一直失败的话，当时间超过180S时，则故障转移失败

c,从节点复制新主节点时间超过180S转移失败

sentinel down-after-milliseconds mymasterA 300000//sentinel节点定期向主节点ping命令，当超过了300S时间后没有回复，可能就认定为此主节点出现故障了……

sentinel parallel-syncs mymasterA 1 //故障转移后，1代表每个从节点按顺序排队一个一个复制主节点数据，如果为3，指3个从节点同时并发复制主节点数据，不会影响阻塞，但存在网络和IO开销

 

4. 启动redis服务和sentinel服务:

a)先把之前安装的redis里面的标绿色的文件都拷贝到 usr/local/bin目录下，然后再再bin目录下新建一个conf文件夹存放配置好的redis主从配置文件和哨兵配置文件

b)启动主从复制服务，先启动主再启动从

主：./redis-server conf/redis6379.conf &

从：

　　./redis-server conf/redis6380.conf &

　　./redis-server conf/redis6381.conf &      

 

c）启动sentinel服务:

       ./redis-sentinel conf/sentinel_26379.conf &

       ./redis-sentinel conf/sentinel_26380.conf &

     

 ./redis-sentinel conf/sentinel_26381.conf &

到此服务全部启动完毕

 

连接到6379的redis的服务，可看到6379就是主节点，他有6380和6381两个从节点

5. 测试：kill -9 6379  杀掉6379的redis服务

可以看到杀掉6379以后6380变为了主节点，6381变为了6380的从节点

重新启动6379以后变为6380的从节点

看日志是分配6380 是6381的主节点，当6379服务再启动时，已变成从节点

假设6380升级为主节点:进入6380>info replication     可以看到role:master

打开sentinel_26379.conf等三个配置，sentinel monitor mymaster 192.168.152.128 6380 2

打开redis6379.conf等三个配置, slaveof 192.168.152.128 6380,也变成了6380

注意：生产环境建议让redis Sentinel部署到不同的物理机上。

 

8.部署建议

　　a，sentinel节点应部署在多台物理机（线上环境）

　　b，至少三个且奇数个sentinel节点

　　c，通过以上我们知道，3个sentinel可同时监控一个主节点或多个主节点

    　　监听N个主节点较多时，如果sentinel出现异常，会对多个主节点有影响，同时还会造成sentinel节点产生过多的网络连接，

    　　一般线上建议还是， 3个sentinel监听一个主节点

 

三、Redis集群

Redis集群（cluster）： Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。

　　Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.

　　Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:

　　　　1）自动分割数据到不同的节点上。

　　　　2）整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

　　Redis 集群的数据分片 Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

　　Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

　　　　节点 A 包含 0 到 5500号哈希槽.

　　　　节点 B 包含5501 到 11000 号哈希槽.

　　　　节点 C 包含11001 到 16384号哈希槽.

　　这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

　　Redis 集群的主从复制模型 为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用，所以集群使用了主从复制模型,每个节点都会有N-1个复制品.

　　在我们例子中具有A，B，C三个节点的集群,在没有复制模型的情况下,如果节点B失败了，那么整个集群就会以为缺少5501-11000这个范围的槽而不可用.

　　然而如果在集群创建的时候（或者过一段时间）我们为每个节点添加一个从节点A1，B1，C1,那么整个集群便有三个master节点和三个slave节点组成，这样在节点B失败后，集群便会选举B1为新的主节点继续服务，整个集群便不会因为槽找不到而不可用了

　　不过当B和B1 都失败后，集群是不可用的.

　　Redis 一致性保证 Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

　　第一个原因是因为集群是用了异步复制. 写操作过程:

　　　　客户端向主节点B写入一条命令.

　　　　主节点B向客户端回复命令状态.

　　　　主节点将写操作复制给他得从节点 B1, B2 和 B3.

　　　　主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话， 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意：Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

　　举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1 为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .

　　Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.

　　注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项：

Redis Sentinal着眼于高可用，在master宕机时会自动将slave提升为master，继续提供服务。

Redis Cluster着眼于扩展性，在单个redis内存不足时，使用Cluster进行分片存储。

 

集群要实现的目的是要将不同的 key 分散放置到不同的 redis 节点，这里我们需要一个规则或者算法，通常的做法是获取 key 的哈希值，然后根据节点数来求模，但这种做法有其明显的弊端，当我们需要增加或减少一个节点时，会造成大量的 key 无法命中，这种比例是相当高的，所以就有人提出了一致性哈希的概念。

 

一致性哈希有四个重要特征：

　　均衡性：也有人把它定义为平衡性，是指哈希的结果能够尽可能分布到所有的节点中去，这样可以有效的利用每个节点上的资源。

　　单调性：当节点数量变化时哈希的结果应尽可能的保护已分配的内容不会被重新分派到新的节点。

　　分散性和负载：这两个其实是差不多的意思，就是要求一致性哈希算法对 key 哈希应尽可能的避免重复。

 

但是：

Redis 集群没有使用一致性hash, 而是引入了哈希槽的概念。

Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽(Slot)，集群的每个节点负责一部分hash槽。

这种结构很容易添加或者删除节点，并且无论是添加删除或者修改某一个节点，都不会造成集群不可用的状态。

 

使用哈希槽的好处就在于可以方便的添加或移除节点。

 

当需要增加节点时，只需要把其他节点的某些哈希槽挪到新节点就可以了；

当需要移除节点时，只需要把移除节点上的哈希槽挪到其他节点就行了；

 

在这一点上，我们以后新增或移除节点的时候不用先停掉所有的 redis 服务。

 

举个例子,比如当前集群有3个节点,那么:

　　节点 A 包含 0 到 5500号哈希槽.

　　节点 B 包含5501 到 11000 号哈希槽.

　　节点 C 包含11001 到 16384号哈希槽.

 

　　这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上。如果我想移除节点A，需要将A中得槽移到B和C节点上，然后将没有任何槽的A节点从集群中移除即可.

　　由于从一个节点将哈希槽移动到另一个节点并不会停止服务，所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

 

　　Redis集群中内置了16384个哈希槽，当需要在Redis集群中放置一个key-value时，redis先对key使用crc16算法算出一个结果，然后把结果对16384求余数，这样每个key都会对应一个编号在0-16383之间的哈希槽，redis会根据节点数量大致均等的将哈希槽映射到不同的节点

 

这个是redis集群模式示意图，将16384个槽slot分到不同的服务器上去

Key:a

　　计算a的hash值，例如值为100，100这个槽在server1上，所以a应该放到server1.

Key:hello

　　Hash值：10032，此槽在server2上。Hell可以应该存在server2.

===============================================================

Redis-Cluster 

　　redis的哨兵模式基本已经可以实现高可用，读写分离 ，但是在【这种模式下每台redis服务器都存储相同的数据】，很浪费内存，所以在【redis3.0上加入了cluster模式，实现的redis的分布式存储】，【也就是说每台redis节点上存储不同的内容】。

 

Redis-Cluster采用无中心结构,它的特点如下: 

　　1. 【所有的redis节点彼此互联(PING-PONG机制)】,内部使用二进制协议优化传输速度和带宽。

　　2. 节点的fail是通过集群中【超过半数的节点检测失效】时才生效。

　　3. 客户端与redis节点直连,不需要中间代理层。客户端不需要连接集群所有节点，【客户端连接集群中任何一个可用节点即可】。

 

redis-cluster把所有的物理节点映射到[0-16383]slot上（不一定是平均分配），cluster负责维护node<->slot<->value。

Redis集群预分好16384个桶，当需要在Redis集群中放置一个key-value 时，【根据CRC16(key) mod 16384的值，决定将一个key放到哪个桶中】。

 

要让集群正常工作至少需要3个主节点，一共就需要6个节点，其中3个为主节点，3个为从节点

 

工作方式：

　　在redis的每一个节点上，都有这么两个东西，一个是插槽（slot），它的的取值范围是：0-16383。还有一个就是cluster，可以理解为是一个集群管理的插件。

　　当我们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，【通过这个值，去找到对应的插槽所对应的节点】，【然后直接自动跳转到这个对应的节点上进行存取操作】。

 

　　Cluster集群采用了P2P的模式，完全去中心化，Redis把所有的Key分成了16384个slot，【每个Redis实例负责其中一部分slot】，集群中的所有信息（节点、端口、slot等），都通过节点之间定期的数据交换而更新，Redis客户端可以在任意一个Redis实例发出请求，如果所需数据不在该实例中，通过重定向命令引导客户端访问所需的实例。

 

　【为了保证高可用，redis-cluster集群引入了主从模式】，一个主节点对应一个或者多个从节点，当主节点宕机的时候，就会启用从节点。当其它主节点ping一个主节点A时，如果半数以上的主节点与A通信超时，那么认为主节点A宕机了。如果主节点A和它的从节点A1都宕机了，那么该集群就无法再提供服务了。

 

选举容错

(1) 领导选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout)，认为该节点故障，自动触发故障转移操作.

(2) 什么时候整个集群不可用(cluster_state:fail)

　　a:【如果集群任意master挂掉,且当前master没有slave.集群进入fail状态】,也可以理解成集群的slot映射[0-16383]不完成时进入fail态.

　　　　redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败. 

　　b:如果集群【超过半数以上master挂掉，无论是否有slave集群进入fail状态】.

 

ps:当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误 

===============================================================

Redis集群的目的是实现数据的横向伸缩，把一块数据分片保存到多个机器，可以横向扩展数据库大小，扩展带宽，计算能力等。 

 

实现数据分片(集群)方式大致有三种： 

 

1）客户端实现数据分片

　　即客户端自己计算数据的key应该在哪个机器上存储和查找。

　　此方法的好处是降低了服务器集群的复杂度，客户端实现数据分片时，服务器是独立的，服务器之前没有任何关联。多数redis客户端库实现了此功能，也叫sharding。

　　这种方式的缺点是客户端需要实时知道当前集群节点的联系信息，同时，当添加一个新的节点时，客户端要支持动态sharding.，多数客户端实现不支持此功能，需要重启redis。另一个弊端是redis的HA需要额外考虑。

 

2）服务器实现数据分片 

　　其理论是，客户端随意与集群中的任何节点通信，服务器端负责计算某个key在哪个机器上，当客户端访问某台机器时，服务器计算对应的key应该存储在哪个机器，然后把结果返回给客户端，客户端再去对应的节点操作key，是一个重定向的过程，此方式是redis3.0正在实现，目前处于beta版本， Redis 3.0的集群同时支持HA功能，某个master节点挂了后，其slave会自动接管。

 

　　服务器端实现集群需要客户端语言实现服务器集群的协议，目前java，php，ruby语言多数有redis-cluster客户端实现版本。 

 

　　Redis Cluster 是Redis的集群实现，内置数据自动分片机制，集群内部将所有的key映射到16384个Slot中，集群中的每个Redis Instance负责其中的一部分的Slot的读写。集群客户端连接集群中任一Redis Instance即可发送命令，当Redis Instance收到自己不负责的Slot的请求时，会将负责请求Key所在Slot的Redis Instance地址返回给客户端，客户端收到后自动将原请求重新发往这个地址，对外部透明。一个Key到底属于哪个Slot由crc16(key) % 16384 决定。

 

　　关于负载均衡，集群的Redis Instance之间可以迁移数据，以Slot为单位，但不是自动的，需要外部命令触发。 

 

　　关于集群成员管理，集群的节点(Redis Instance)和节点之间两两定期交换集群内节点信息并且更新，从发送节点的角度看，这些信息包括：集群内有哪些节点，IP和PORT是什么，节点名字是什么，节点的状态(比如OK，PFAIL，FAIL，后面详述)是什么，包括节点角色(master 或者 slave)等。 

 

　　关于可用性，集群由N组主从Redis Instance组成。主可以没有从，但是没有从 意味着主宕机后主负责的Slot读写服务不可用。 

 

　　一个主可以有多个从，主宕机时，某个从会被提升为主，具体哪个从被提升为主，协议类似于Raft，参见这里。如何检测主宕机？Redis Cluster采用quorum+心跳的机制。从节点的角度看，节点会定期给其他所有的节点发送Ping，cluster-node-timeout(可配置，秒级)时间内没有收到对方的回复，则单方面认为对端节点宕机，将该节点标为PFAIL状态。通过节点之间交换信息收集到quorum个节点都认为这个节点为PFAIL，则将该节点标记为FAIL，并且将其发送给其他所有节点，其他所有节点收到后立即认为该节点宕机。从这里可以看出，主宕机后，至少cluster-node-timeout时间内该主所负责的Slot的读写服务不可用。 

 

Redis Cluster Slots是什么？http://www.zhizhihu.com/html/y2014/4590.html

 

3）通过代理服务器实现数据分片 

　　此方式是借助一个代理服务器实现数据分片，客户端直接与proxy联系，proxy计算集群节点信息，并把请求发送到对应的集群节点。降低了客户端的复杂度，需要proxy收集集群节点信息。Twemproxy是twitter开源的，实现这一功能的proxy。这个实现方式在客户端和服务器之间加了一个proxy，但这是在redis 3.0稳定版本出来之前官方推荐的方式。结合redis-sentinel的HA方案，是个不错的组合。