Redis拾遗(四)

持久化:

  1. RDB:把当前进程数据生成快照保存到硬盘,出发RDB持久化过程分为手动和自动;
    1. 手动触发:
      • save命令,会阻塞当前Redis服务器,知道RDB过程完成为止(基本废弃)
      • bgsave命令,Redis进程执行fork操作创建子进程,RDB持久化由子进程负责。阻塞只发生在fork阶段,时间很短。
    2. 自动触发:
      • 使用save相关配置,会按配置自动触发bgsave
      • 如果从节点执行全量复制,主节点自动执行bgsave并发送给从节点。
      • 执行debug reload重新加载redis时,也会自动触发save操作。
      • 默认情况执行shutdown时,如果没有开启AOF持久化,则自动执行bgsave。
    3. 优点:
      • 压缩紧凑
      • 加速恢复数据远快于AOF
    4. 缺点:
      • 没法实时持久化,bgsave属于重量级操作,成本高
      • 新旧版本兼容问题
  2. AOF:以独立日志方式记录每次写命令,重启时重新执行AOF中的命令达到数据恢复,属于持久化的主流方式
    1. 过程:
      1. 所有写入命令都会追加到aof_buf缓冲区内。
      2. AOF缓冲区根据对应的策略向硬盘做同步操作。
      3. 随着AOF文件越来越大,需要定期对AOF文件重写,达到压缩的目的
      4. 当Redis服务器重启时,可以加载AOF文件进行数据恢复。
    2. 同步文件策略:everysec(建议的配置)每秒同步一次数据,即使宕机,也会只损失1s的数据。
    3. 重写机制:将超时的命令剔除;无效命令剔除;多条命令合并。降低空间,加速加载。也分自动触发和手动触发。不在此赘述。
  3.   
  4. Redis重启时优先加载AOF如果没有的话加载RDB
  5. 问题优化:
    1. fork操作:fork创建子进程会复制父进程的空间内存页表,fork操作的耗时与Redis进程内存息息相关。
    2. 子进程开销优化:CPU密集操作,不要和其他CPU密集服务部署爱一起,造成竞争。避免在大量写入时做子进程重写操作,将导致父进程维护大量页副本,造成内存消耗。
  6. 多实例部署:保证机器内每个Redis实例AOF重写串行化执行。

复制:

  1. 目的:解决单点问题,满足故障恢复和负载均衡的要求
  2. 配置:
    1. 在配置文件中加入slaveof{masterHost} {masterPort}随Redis启动生效;
    2. 在redis-server启动命令后加入--slaveof {masterHost} {masterPort}生效;
    3. 直接使用命令:slaveof{masterHost} {masterPort}生效;
  3. 查看复制状态信息:info replication
  4. 断开复制:
    1. 在从节点上执行slaveof no one断开与主节点复制关系,从节点晋升为主节点。
    2. 从节点断开复制后并不会抛弃原有数据,只是无法再获取主节点上的数据变化。
    3. slaveof 还可以切换从节点的主节点,流程如下:1、断开与旧主节点复制关系;2、与新主节点简历复制关系;3、删除从节点当前所有数据;4、对新主节点进行复制操作;
  5. 安全性:数据比较重要的节点,主节点可以通过设置requirepass参数进行密码验证,这时所有客户端访问必须使用auth命令实行校验。
  6. 只读:默认情况下从节点使用slave-read-only=yes配置为只读模式,由于复制是从主到从,对从节点任何修改主节点无法感知到,修改从节点会造成主从数据不一致。
  7. 传输延迟:可以通过配置repl-disable-tcp-nodelay参数来控制是否关闭TCP_NODELAY,默认关闭。
  8. 拓扑结构:
    1. 一主一从:当应用写命令并发量较高且需要持久化,可以只在从节点开启AOF功能。要注意主节点脱机避免自动重启操作,因为主节点没有开启持久化功能,自动重启后数据集为空,这时从节点如果继续复制主节点会导致从节点数据也被情况,从而丧失了持久化的意义。安全的做法是在从节点执行slaveof no one 断开与主节点的复制关系型,再重启主节点。
    2. 一主多从:可以利用多个从节点实现读写分离,对于读占比较大场景,可以把读命令发到从节点分担主节点压力。一些耗时操作也可以分到其中一台从节点执行。对于写并发量较高的场景,多个从节点会导致主节点写命令多次发送消耗网络带宽,家中主节点负载影响服务稳定性。
    3. 树形结构:当主节点需要挂多个从节点时为了避免对主节点的性能干扰,可以采用树形结构。
  9. 原理:
    1. 保存主节点信息;
    2. 主从建立socket连接
    3. 发送ping命令;
    4. 权限验证;
    5. 同步数据集;
    6. 命令持续复制;
  10. Redis主从节点都会维护自己的复制偏移量文件,主节点也存在复制缓冲区,为部分复制提供支持。缓冲区也保证了主从数据的一致性。
posted @ 2018-09-27 22:31  fly。  阅读(164)  评论(0编辑  收藏  举报