redis复制

一、复制

在分布式系统中为了解决单点问题,通常会把数据复制多个副本部署到其他机器,满足故障恢复和负载均衡等需求。

Redis也是如此,它为我们提供了复制功能,实现了相同数据的多个Redis副本。复制功能是高可用Redis的基础,后面的哨兵和集群都是在复制的基础上进行的。

二、建立配置

   参与复制的Redis实例划分为主节点(master)和从节点(slave)。

默认情况下, Redis都是主节点。每个从节点只能有 一个主节点,而主节点可以同时具有多个从节点。复制的数据流是单向的,只能由主节点复制到从节点。

配置复制的方式有以下三种：

1. 在配置文件中加入slaveof (masterHost) (masterPort)随Redis启动生效。

           

           2. 在redis-server启动命令后加入--slaveof (masterHost} (

 

 

 

           3. asterPort)生效。 直接使用命令：slaveof (masterHost) (masterPort)生效

                

 

 

         验证：

           

 

 

4. slaveof节点只保留主节点的信息，然后返回复制流程，以异步方式执行info replication

主节点：

                         

 

 

从节点：

　　　　　　　　 

 

 

三、断开主从复制

  Slaveof命令不但可以建立复制，还可以从节点执行slaveof no one断开与主节点的复制关系 断开复制主要流程：

1、断开与主节点复制关系

2、从节点晋升为主节点 从节点断开复制后并不会抛弃原有数据，只是无法在获取主节点上的数据变化。

通过slaveof命令还可以切主，切主就是把当前从节点上对主节点的复制，切换到另 一台主节点上的复制，执行Slaveof 新主的ip 新主的端口的命令即可。

      1 断开与旧主的复制关系

       2 与新主的节 点建立关系

      3 删除从节点当前的所有数据（为了生产安全不要操作！！！！！）

     4 对新主节点进行复制操作

     　　　　  

 

 

四、安全性

   对于数据比较重要的节点,主节点会通过设置requirepass参数进行密码验证,这时所有的客户端访问必须使用auth 命令实行校验。

从节点与主节点的复制连接是通过一个特殊标识的客户端来完成,因此需要配置从节点的masterauth参数与主节点密码保持一致,这样从节点才可以正确地连接到主节点并发起复制流程。

1. 只读

  默认情况下,从节点使用slave-read-only=yes配置为只读模式。

由于复制只能从主节点到从节点,对于从节点的任 何修改主节点都无法感知,修改从节点会造成主从数据不一致。因此建议线上不要修改从节点的只读模式

        2. 传输延迟

  主从节点一般部署在不同机器上,复制时的网络延迟就成为需要考虑的问题, Redis为我们提供了repl-disable-tcpnodelay参数用于控制是否关闭TCP_NODELAY，

　　　　　　 

 

 

默认关闭,说明如下:

（1）当关闭时,主节点产生的命令数据无论 大小都会及时地发送给从节点,这样主从之间延迟会变小,但增加了网络带宽的消耗。适用于主从之间的网络环境 良好的场景,如同机架或同机房部署。

（2）当开启时、主节点会合并较小的TCP数据包从而节省带宽。默认发 送时间间隔取决于Linux的内核,一般默认为40毫秒。

这种配置节省了带宽但增大主从之间的延迟。适用于主从 网络环境复杂或带宽紧张的场景,如跨机房部署

五、拓扑

   Redis的复制拓扑结构可以支持单层或多层复制关系,根据拓扑复杂性可以分为以下三种:一主一从、一主多从、 树状主从结构,下面分别介绍。

1.     一主一从结构 一主一从结构是最简单的复制拓扑结构,用于主节点出现宕机时 从节点提供故障转移支持。

当应用写命令并发量较高且需要持久化时,可以只在从节点上开启AOF,这样既保证数 据安全性同时也避免了持久化,对主节点的性能干扰。

但需要注意的是,当主节点关闭持久化功能时,如果主节点 脱机要避免自动重启操作。

因为主节点之前没有开启持久化功能自动重启后数据集为空,这时从节点如果继续复 制主节点会导致从节点数据也被清空的情况,丧失了持久化的意义。  

安全的做法是在从节点上执行slaveof no one断开与主节点的复制关系,再重启主节点从而避免这一问题。

      2.   一主多从结构 主多从结构(又称为星形拓扑结 构)使得应用端可以利用多个从节点实现读写分离,对于读占比较大的场景,可以把读命令发送到从节点来分担主 节点压力。

同时在日常开发中如果需要执行一些比较耗时的读命令,如: keys, sort等,可以在其中一台从节点上执行,防止慢查询对主节点造成阻寒从而影响线上服务的稳定性。

对于写并发量较,高的场景,多个从节点会导致主 节点写命令的多次发送从而过度消耗网络带宽,同时也加.了主节点的负载影响服务稳定性。

     3.    树状主从结构 树状主从结构(又称为树状拓扑结构)使得从节点不但可以复制主节点数据,同时可以作为其他从 节点的主节点继续向下层复制。

通过引入复制中间层,可以有效降低主节点负载和需要传送给从节点的数据量。

数据写入节点A后会同步到B和C节点, B节点再把数据同步到D和E节点,数据实现了一层一层的向下复制。

当主节 点需要挂载多个从节点时为了避免对主节点的性能干扰,可以采用树状主从结构降低主节点压力。

六、复制过程的原理

  1 保存主节点信息(master)信息

  2 从节点内部通过每秒运行的定时任务维护，来复制相关的逻辑，当定时任务发现存在的新的主节点， 从节点会尝试与该新主节点建立网络连接；从节点会建立一个socket套接字，专门用于接受主节点发 送的复制命令。

从节点无法建立链接，定时任务会无限重复，直到链接成功，或执行 slaveof no one

1.  查看节点失败的原命令 ：
   1. Info replication
   2. 查看master_link_down_since_seconds 记录着与主节点连接失败的 系统时间
   3. 连接成功时，从节点发送ping命令，请求进行首次通信

（1） 检测主从间网络套接字是否可用

（2） 检测主节点当前是否接受处理命令 如果发送ping命令后，从节点没有收到主节点的pong回复时，比如网络超时或者主节点正在阻塞无法响应命令，从节点会断开复制连接，下次定时任务会发起重连。

4. 执行权限的 验证，密码验证

5. 同步数据集 psync同步，主节点全部发送给从节点

6. 命令持续复制

七、数据同步

  Redis在2.8及以上版本使用psync命令完成主从数据同步，同步过程分为：全量复制和部分复制。

全量复制：: 一般用于初次复制场景, Redis早期支持的复制功能只有全量复制,它会把主节点全部数据一次性发送给从节点。 当数据量较大时,会对主从节点和网络造成很大的开销。

部分复制：用于处理在主从复制中因网络闪断等原因造 成的数据丢失场景,当从节点,再次连上主节点后,如果条件允许,主节点会补发丢失数据给从节点。因为补发的数 据远远小于全量数据,可以有效避免全量复制的过高开销。分复制是对老版复制的重大优化,有效避免了不必要的 全量复制操作。

因此当使用复制功能时,尽量采用2.8以上版本的Redis。

1. 复制偏移量：

参与复制的主从节点都会维护自身复制偏移量，主节点在处理完写入命令后，会把命令的字节 长度做累计记录，统计在info replication 命令下的参数master_replioffset ，从节点每秒上报自身复制的偏移量 给主节点，主节点也会保存从节点的复制偏移量。

　　　　　　 

 

 

 2. 复制积压缓冲区：

复制积压缓冲区是保存在主节点上的一个固定长度的队列，默认大小为1MB。当主节点有 链接的从节点（slave）时被创建，这时候主节点响应写命令，不但会把命令发送给从节点，还会写入复制积压 缓冲区（缓冲区规则：先进先出）

repl_backlog_active:1 //开启复制缓冲区

repl_backlog_size:1048576 //缓冲区最大长度

repl_backlog_first_byte_offset:1 //起始偏移量，计算当前缓冲区可用范围

repl_backlog_histlen:338 //已保存数据的有效长度

3.  主节点运行的ID：每个redis节点启动后都会动态分配1个40位16进制的字符串作为运行id，运行id的作用是用 来表示唯一识别redis的节点，用命令info server查看当前节点的运行id，关闭再启动后，运行id会改变

　　　　　　　　 

 

 

4. psync命令怎么用：从节点使用psync命令完成部分复制和全量复制的功能

  Psync [runid] [offset]

runid从节点所复制主节点运行id 默认值？

• offset当前从节点已复制的数据偏移量 默认-1

              【psync命令的工作流程】 从-主发送命令 ： psync 主-从返回情况1： full resync 主-从返回情况2： continue 主-从返回情况3： err

八、全量复制的工作流程

　　1 从节点发送psync命令复制请求：默认值？和-1

　　2 主节点根据判断为全量复制回 复：FULL resync响应

　　3 从节点接受主节点响应，保存运行ID和偏移量offset

　　4 主节点执行bgsave保存RDB持久 化文件到本地

　　5 主节点发送RDB文件给从节点，从节点把接受的RDB文件保存在本地，并直接作为从节点的数 据文件

　　6 从节点接受RDB快照到接受完成期间，主节点仍在响应读写命令，因此主节点会把这期间写的命令数 据保存在复制客户端的缓冲区内，当从节点加载完RDB文件后，主节点再把缓冲区内的数据发送给从节点，保证数据一致性。

　　特殊情况：设置Client-output-buffer-limit-slave 256MB 64MB 64 代表60秒内写的64MB或直 接超过256M直接断开主和客户端，全量备份失败。

　　7 从节点接收完主节点传送来的全部数据后会清空自身的 旧数据

　　8 从节点清空数据后开始加载RDB文件 特殊情况 slave-serve-stale-data 监控

　　9 从节点加载完RDB后，如 果当前节点会开启AOF持久化功能，就会立刻执行bgrewriteaof的操作。

九、部分复制：

主要是Redis针对全量复制的过高开销做出的一种优化措施,使用psync (runid) (offset)命令实现。

当从 节点(slave)正在复制主节点(master)时,如果出现网络闪断或者命令丢失等异常情况时,从节点会向主节点要求补发丢失的命令数据,如果主节点的复制积压缓冲区内存在这部分数据则直接发送给从节点,这样就可以保持主从节 点复制的一致性。

补发的这部分数据一般远远小于全量数据,所以开销很小。

　　部分复制的流程如下：

 　　　　1 主从节点 之间断开连接时，如果超过reply-timeout时间，主节点会认为从节点出现了故障，并且中断复制连接

　　　　2 主从连 接终断期间，主节点依然响应命令，但因为复制命令无法发送给从节点，不过主节点内部存在复制积压缓冲 区，依然保证最近一段时间的写入命令不丢失，默认情况下缓存1M

　　　　3 主从节点网络恢复之后，从节点会再次连 接上主节点

　　　　4 从节点发送给主节点恢复后，由于从节点之前保存了自身已复制的偏移量和主节点的运行id，从 会把他们当作psync发送给主节点，要求进行复制操作

　　　　5 主节点连接到psync命令后首先核对参数runid是否一 致，如果一致，当前节点为主节点，主节点发送continue表示可以进行部分复制

　　　　6 主节点根据偏移量把复制积 压缓冲区里的数据发送给从节点

十、心跳

主从节点在建立复制后，它们之间维护着长连接并彼此发送心跳命令，主从心跳判断机制

1.  主从节点彼此都有 心跳检测机制，各自模拟成对方的客户端进行通信，通过client list命令查看复制相关的客户端信息，主节点的 连接状态为Flags:M，从节点的连接状态为flags:S

 　　　　　　

 

 

   　　  2. 主节点默认每隔10秒发送给从ping命令，判断从节点的存活性和连接状态。可以通过repl-ping-slave-period 10设置多少秒发送ping命令

  　　  3.  从节点在主线程中每隔1秒发送 replconf ack {offset} 给主节点上报自身当前的复制偏移量。

　　Replconf作用:

　　　　1 实时检测主从节点网络状态

　　　　2 上报自身复制偏移量，检测复制数据是否丢失，如果从节点数据丢失，再从主节 点的积压复制缓冲区里拉取丢失数据

　　　　3 实现保证从节点的数量和延迟性功能，通过min-slaves-to-write、minslaves-max-lag参数定义 主节点根据replconf命令判断从节点超时时间,体现在info replication统计中的lag信息 中,lag表示与从节点最后一次通信延迟的秒数,正常延迟应该在0和1之间。

如果超过repl-timeout配置的值(默认 60秒),则判定从节点下线并断开复制客户端连接。即使主节点判定从节点下线后,如果从节点重新恢复,心跳检测 会继续进行

十一、 异步复制

         主节点不但负责数据读写,还负责把写命令同步给从节点。写命令的发送过程是异步完成，也就是说主节点自身 处理完写命令后直接返回给客户端,并不等待从节点复制完成。 主节点复制的流程：

　　1 主节点的端口6379接收 处理命令

　　2 命令处理完之后返回响应结果

　　3 对于修改命令异步发送给6380从节点，从节点在主线中执行复制命令

　　由于主从复制过程是异步的,就会造成从节点的数据相对主节点存在延迟。

　　具体延迟多少字节,我们可以在主节点 执行info replication命令查看相关指标获得。如下:

　　　　　　

 

 

      在统计信息中可以看到从节点slave0信息,分别记录了从节点的ip和port,从节点的,状态, offset表示当前从节点的 复制偏移量, master repl offset表示当前主节点的复制偏移量,两者的差值就是当前从节点复制延迟量。

      Redis的 复制速度取决于主从之间网络环境, repl-disable-tcp-nodelay,命令处理速度等。正常情况下,延迟在1秒以内

十二、 开发与运维中的问题

        理解了复制原理之后,本节我们重点分析基于复制的应用场景。通过复制机制,数据集可以存在多个副本(从节点), 这些副本可以应用于读写分离、故障转移(failover),实时备份等场景。但是在实际应用复制功能时,依然有一些坑 需要跳过

1. 读写分离问题

Master负责写，Slave负责读 遇到的问题：

1、复制数据延迟

2、读到过期数据

3、从节点故障

1、数据延迟 Redis复制数据的延迟由于异步复制特性是无法避免的,延迟取决于网络带宽和命令阻塞情况,比如刚在主节点写 入数据后立刻在从节点上读取可能获取不到。需要业务场景允许短时间内的数据延迟。

对于无法容忍大量延迟 场景,可以编写外部监控程序监听主从节点的复制偏移量,当延迟较大时触发报警或者通知客户端避免读取延迟过 高的从节点

 　　1 监控程序（monitor）：定期检查主从节点的偏移量，主从节点偏移量的差值叫主从节点延迟的字节

　　2 当延迟字节量过高时，监控程序触发报警，并通知客户端从节点延迟过高

　　3 客户端接收到具体的从节点高延迟通知后，修改读命令到其他从节点或主节点。当延迟恢复后，在次 通知客户端，恢复从节点的读命令请求

2、读到过期的数据问题 当主节点存储大量设置超时的数据时,如缓存数据, Redis内部需要维护过期数据删除策 略,

删除策略主要有两种:惰性删除和定时删除

　　惰性删除，主节点每次处理读取命令时，都会检查键是否超时， 如果超时，则执行del删除键，del命令异步发送给从节点，从节点自身永远不会主动删除超时的数据。

　　定时删 除: Redis主节点在内部定时任务会循环采样一定数量的键,当发现采样的键过期时执行del命令,之后再同步给从节点。

如果此时数据大量超时,主节点采样速度跟不上过期速度且主节点没有读取过期键的操作,那么从节点将 无法收到del命令。这时在从节点上可以读取到已经超时的数据。

　　Redis在3.2版本解决了这个问题,从节点读取数 据之前会检查键的过期时间来决定是否返回数据,可以升级到3.2版本来规避这个问题。 3从节点的故障问题 对于从节点的故障问题，需要在客户端维护，维护可用的节点列表，当从节点故障时，会 立刻切换到其他的从节点或主节点上，由监控程序去完成。

2. 主从配置不一致

       主从配置不一致是一个容易忽视的问题。对于有些配置主从之间是可以不一致,比如:

　　主节点关闭AOF在从节点开 启。但对于内存相关的配置必须要一致,比如maxmemory,hash-max-ziplist-entries等参数。

       当配置的 maxmemory从节点小于主节点,如果复制的数据量超过从节点maxmemory时,它会根据maxmemory-policy策略 进行内存溢出控制,此时从节点数据已经丢失,但主从复制流程依然正常进行,复制偏移量也正常。

　　修复这类问题 也只能手动进行全量复制。当压缩列表相关参数不一致时,虽然主从节点存储的!数据一致但实际内存占用情况差 异会比较大。

3.规避全量复制

  　　第一次建立连接复制:由于是第一次建立复制,从节点不包含任何主节点数据,因此必进行全量复制才能完成数据 同步。对于这种情况全量复制无法避免。当对数据量较大且流量较高的主节点添加从节点时,建议在低峰时进行 操作,或者尽量规避使用大数据量的Redis节点。

　　节点运行ID不匹配:当主从复制关系建立后,从节点会保存主节点的运行ID,如果此时主节点因故障重启,那么它的 运行ID会改变,从节点发现主节点运行ID不匹配时,会认为自己复制的是一个新的主节点从而进行全量复制。对于 这种情况应该从架构上规避,比如提供故障转移功能。

　　当主节点发生故障后,手动提升从节点为主节点或者采用支 持自动故障转移的哨兵或集群方案。

　　复制积压缓冲区不足:当主从节点网络中断后,从节点再次连上主节点时会发送psync (offset) (runId)命令请求部分 复制,如果请求的偏移量不在主节点的积压缓冲区内,则无法提供给从节点数据,因此部分复制会退化为全量复 制。

　　针对这种情况需要根据网络中断时长,写命令数据量分析出合理的积压缓冲区大小。网络中断一般有闪断、 机房割接、网络分区等情况。

　　这时网络中断的时长一般在分钟级(net break time),写命令数据量可以统计高峰期 主节点每秒info replication的master_repl_offset差值获取(write_size_per_minute)。积压缓冲区默认为1MB,对于 大流量场景显然不够,这时需要增大积压缓冲区,保证repl-backlog_size > net_break_ time * write_size_per_minute,从而避免因复制积压缓冲区不足造成的全量复制

4. 规避复制风暴

　　复制风暴是指大量从节点对同一主节点或者对同一台机器的多个主节点短时间内发起全,量复制的过程。

　　复制风 暴对发起复制的主节点或者机器造成大量开销,导致CPU、内存、带宽消耗。因此我们应该分析出复制风暴发生 的场景,提前采用合理的方式规避。规避方式有如下几个。

　　 1. 单主节点复制风暴 单主节点复制风暴一般发生在主 节点挂载多个从节点的场景。当主节点重启恢复后,从节点会发起全量复制流程,这时主节点就会为从节点创建 RDB快照,如果在快照创建完毕,之前,有多个从节点都尝试与主节点进行全量同步,那么其他从节点将共享这份 RDB快照。

这点Redis做了优化,有效避免了创建多个快照。但是,同时向多个从节点发送RDB快照,可能使主节点 的网络带宽消耗严重,造成主节点的延迟变大,极端情况会发生主从节点连接断开,导致复制失败。

解决方案首先 可以减少主节点(master)挂载从节点(slave)的数量,或者采用树状复制结构,加人中间层从节点用来保护主节点。 从节点采用树状树非常有用,网络开销交给位于中间层的从节点,而不必消耗顶层的主节点。但是这种树状结构也 带来了运维的复杂性,增加了手动和自动处理故障转移的难度。

　　2.单机器复制风暴 由于Redis的单线程架构,通常单台机器会部署多个Redis实例。当一台机器(machine),上同时部 署多个主节点(master)时。 如果这台机器出现故障或网络长时间中断,当它重启恢复后,会有大量从节点(slave)针 对这台机器的主节点进行全量复制,会造成当前机器网络带宽s耗尽。

3. 如何避免?方法如下:

　　（1）应该把主节点尽量分散在多台机器上,避免在单台机器上部署过多的主节点。

　　（2）当 主节点所在机器故障后提供故障转移机制,避免机器恢复后进行密集的全量复制。