ZFYCH_Love

Simply but Powerful

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

主从的架构:

一主多从,级联

 

主从复制

1.s初次链接到m,发送sync命令,会触发一次全量复制。

2.m新开后台线程,生成一份RDB快照,同时将客户端发来的写命令,缓存在内存中

3.RDB生成后,发送给s,s收到后先写入磁盘,再加载到内存中。

4.m还会将缓存中的写命令,异步发送给s。

 更多:https://blog.csdn.net/sj15814963053/article/details/125069026

 

-----------

Redis可能导致阻塞的点在哪?

四大类:

1.与客户端交互

  -- 集合全量查询和聚合操作

  --删除包含大量元素的集合操作(释放内存时需要把内存加入空闲内存链表,该操作会阻塞删除操作)

  --清空库操作

2.服务端磁盘交互

  【-- X:生成RDB快照和执行AOF日志重写都是子进程完成,不阻塞主线程】

  --如果有大量写操作记录在AOF日志并同步写回磁盘,会阻塞主线程

3.主从机同步交互

  【--X:主机传输RDB到从库由子进程进行,不会阻塞主线程】

  --从机接收RDB后,需要先清空当前库,会阻塞从机的主线程

  --从机加载RDB,这个过程也会阻塞从机的主线程

4.切片集群交互

  --Redis集群是同步迁移,如果迁移的正好是bigkey,就会阻塞主线程

更多:https://blog.csdn.net/sj15814963053/article/details/124585501

--------------

RDB快照

https://www.cnblogs.com/Zz198/p/16714803.html

1.生成快照时,是可以继续写入/更改内容的,更改内容时的处理逻辑有点特殊:

说明:生成快照,是fork子进程(包括指向内存数据的页表),与主进程共享数据(指向内存中真实数据)

期间,主进程修改某值时,就将物理数据复制一份副本,然后在副本上做修改,改完后等fork完成再修改页表指向。

子进程用于生成RDB的数据还是老的

 

同步是由s发起

初次同步和部分重同步期间,m是非阻塞的,也就是还能提供对外服务。

部分重同步依赖一个偏移量,同时存在于m和s,再次连接上,s会向m发送偏移量,m进行比较,然后把偏移量后的命令发送给s。(特例:断开连接时间过长、偏移量已被覆盖<偏移量存在于m的复制积压缓冲区,默认1MB>,此时启动RDB全量同步)

 

常见问题

故障转移的策略:优先级最高(数越小)-偏移量最大-runid最小的从服务

全量复制问题:首次同步不可避免,后面尽量避免

1)m发生故障时,可能会导致runid变化,s会认为是一个全新的m。所以用哨兵、集群的方式来避免

2)复制积压缓冲区不足,也会导致。调大即可

3)复制风暴:主节点重启,大量s开启复制。通过树状级联的复制结构减轻压力。

 

----------

 

生成RDB日志的流程:https://blog.csdn.net/sj15814963053/article/details/124422938?spm=1001.2014.3001.5502

fork子进程进行,采用Copy-On-Write技术,同时正常处理读写

在复制时正好有个修改操作(修改已有数据A),A被复制一份A ^,子进程复制的是A,而修改操作的是A^

(开启RDB持久化后,当达到持久化的阈值,redis会fork一个新的进程来做持久化,采用了操作系统的copy-on-wirte写时复制策略,子进程与父进程共享Page。如果父进程的Page(每页4K)有修改,父进程自己创建那个Page的副本,不会影响到子进程;)

所以下面这个案例内存分析部分,有80% * 2G=1.6G

 

Redis使用的缓存,以及缓存在使用过程中可能存在的风险

缓冲区主要有2类:

1.客户端请求用的缓冲区

2.主从同步过程用的缓冲区

分开细说:

1.客户端请求用的缓冲区,又分为输入缓存和输出缓冲区

1)输入缓冲区

说明:存储的是客户端提交的操作命令。

出问题原因:

--写入bigKey;

--服务端处理速度过慢(比如主线程阻塞)

影响

--缓冲区溢出,会导致服务端把客户端连接关闭掉

--多个客户端连接占用的内存总量超过最大值(4G,服务端允许为每个客户端最多暂存1G的命令和数据,没有单独的参数可设置输入缓冲区),会导致淘汰数据,也就会导致影响业务查询

2)输出缓冲区

说明:Redis主线程处理完数据,会把结果写入到这里

出问题原因:

--返回bigkey结果

--执行了Monitor命令(不要在生产环境执行)

--缓冲区大小设置不合理

解决

--设置缓冲区大小上限

--设置持续写入数据数量上限和持续写入数据时间上限

 

2.主从同步过程用的缓冲区

1)全量复制

说明:在做RDB全量复制期间,会把写命令写入缓冲区。等待执行完RDB后再讲这些写命令(AOF),发送给从机执行

问题:如果RDO较慢,又产生了大量的写命令,就会导致缓冲区溢出。这时候主机会关闭和从节点之间的复制连接,全量复制失败。

解决:

--控制RDB大小

--设置缓冲区大小

 

2)增量复制

说明:主节点在把写命令同步给从节点时,还会记入复制积压缓冲区,一旦从机故障后再次连上主机,就会拿到缓冲区的数据进行增量同步

这是一个环形设计,可能由于断开时间较长,部分命令被覆盖(双方都记了偏移量,读取的时候,对不上则不一致)

这时候会导致开启全量复制(RDB)

 

 

 

AOF重写:单写一个文件,合并命令,目的是减小AOF文件大小

  AOF日志由主线程写入。是先执行数据写入命令,然后再写日志;但是AOF重写是后台子进程来写。

  • 自动触发: 根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机。其中auto-aof-rewrite-min-size表示运行AOF重写时文件最小体积,默认为64MB。auto-aof-rewrite-percentage表示当前AOF文件大小(aof_current_size)和上一次重写后AOF文件大小(aof_base_size)的比值(新的增量达到了上次重写后文件大小的百分比)。自动触发时机为 aof_current_size > auto-aof-rewrite-min-size &&(aof_current_size - aof_base_size)/aof_base_size> = auto-aof-rewrite-percentage

 

https://blog.csdn.net/sj15814963053?type=blog

 

posted on 2022-09-21 19:13  xiaoyang_  阅读(24)  评论(0编辑  收藏  举报