主从的架构:
一主多从,级联
主从复制
1.s初次链接到m,发送sync命令,会触发一次全量复制。
2.m新开后台线程,生成一份RDB快照,同时将客户端发来的写命令,缓存在内存中
3.RDB生成后,发送给s,s收到后先写入磁盘,再加载到内存中。
4.m还会将缓存中的写命令,异步发送给s。
更多:https://blog.csdn.net/sj15814963053/article/details/125069026
-----------
Redis可能导致阻塞的点在哪?
四大类:
1.与客户端交互
-- 集合全量查询和聚合操作
--删除包含大量元素的集合操作(释放内存时需要把内存加入空闲内存链表,该操作会阻塞删除操作)
--清空库操作
2.服务端磁盘交互
【-- X:生成RDB快照和执行AOF日志重写都是子进程完成,不阻塞主线程】
--如果有大量写操作记录在AOF日志并同步写回磁盘,会阻塞主线程
3.主从机同步交互
【--X:主机传输RDB到从库由子进程进行,不会阻塞主线程】
--从机接收RDB后,需要先清空当前库,会阻塞从机的主线程
--从机加载RDB,这个过程也会阻塞从机的主线程
4.切片集群交互
--Redis集群是同步迁移,如果迁移的正好是bigkey,就会阻塞主线程
更多:https://blog.csdn.net/sj15814963053/article/details/124585501
--------------
RDB快照
https://www.cnblogs.com/Zz198/p/16714803.html
1.生成快照时,是可以继续写入/更改内容的,更改内容时的处理逻辑有点特殊:
说明:生成快照,是fork子进程(包括指向内存数据的页表),与主进程共享数据(指向内存中真实数据)
期间,主进程修改某值时,就将物理数据复制一份副本,然后在副本上做修改,改完后等fork完成再修改页表指向。
子进程用于生成RDB的数据还是老的
同步是由s发起
初次同步和部分重同步期间,m是非阻塞的,也就是还能提供对外服务。
部分重同步依赖一个偏移量,同时存在于m和s,再次连接上,s会向m发送偏移量,m进行比较,然后把偏移量后的命令发送给s。(特例:断开连接时间过长、偏移量已被覆盖<偏移量存在于m的复制积压缓冲区,默认1MB>,此时启动RDB全量同步)
常见问题
故障转移的策略:优先级最高(数越小)-偏移量最大-runid最小的从服务
全量复制问题:首次同步不可避免,后面尽量避免
1)m发生故障时,可能会导致runid变化,s会认为是一个全新的m。所以用哨兵、集群的方式来避免
2)复制积压缓冲区不足,也会导致。调大即可
3)复制风暴:主节点重启,大量s开启复制。通过树状级联的复制结构减轻压力。
----------
生成RDB日志的流程:https://blog.csdn.net/sj15814963053/article/details/124422938?spm=1001.2014.3001.5502
fork子进程进行,采用Copy-On-Write技术,同时正常处理读写
在复制时正好有个修改操作(修改已有数据A),A被复制一份A ^,子进程复制的是A,而修改操作的是A^
(开启RDB持久化后,当达到持久化的阈值,redis会fork一个新的进程来做持久化,采用了操作系统的copy-on-wirte写时复制策略,子进程与父进程共享Page。如果父进程的Page(每页4K)有修改,父进程自己创建那个Page的副本,不会影响到子进程;)
所以下面这个案例内存分析部分,有80% * 2G=1.6G
Redis使用的缓存,以及缓存在使用过程中可能存在的风险
缓冲区主要有2类:
1.客户端请求用的缓冲区
2.主从同步过程用的缓冲区
分开细说:
1.客户端请求用的缓冲区,又分为输入缓存和输出缓冲区
1)输入缓冲区
说明:存储的是客户端提交的操作命令。
出问题原因:
--写入bigKey;
--服务端处理速度过慢(比如主线程阻塞)
影响
--缓冲区溢出,会导致服务端把客户端连接关闭掉
--多个客户端连接占用的内存总量超过最大值(4G,服务端允许为每个客户端最多暂存1G的命令和数据,没有单独的参数可设置输入缓冲区),会导致淘汰数据,也就会导致影响业务查询
2)输出缓冲区
说明:Redis主线程处理完数据,会把结果写入到这里
出问题原因:
--返回bigkey结果
--执行了Monitor命令(不要在生产环境执行)
--缓冲区大小设置不合理
解决
--设置缓冲区大小上限
--设置持续写入数据数量上限和持续写入数据时间上限
2.主从同步过程用的缓冲区
1)全量复制
说明:在做RDB全量复制期间,会把写命令写入缓冲区。等待执行完RDB后再讲这些写命令(AOF),发送给从机执行
问题:如果RDO较慢,又产生了大量的写命令,就会导致缓冲区溢出。这时候主机会关闭和从节点之间的复制连接,全量复制失败。
解决:
--控制RDB大小
--设置缓冲区大小
2)增量复制
说明:主节点在把写命令同步给从节点时,还会记入复制积压缓冲区,一旦从机故障后再次连上主机,就会拿到缓冲区的数据进行增量同步
这是一个环形设计,可能由于断开时间较长,部分命令被覆盖(双方都记了偏移量,读取的时候,对不上则不一致)
这时候会导致开启全量复制(RDB)
AOF重写:单写一个文件,合并命令,目的是减小AOF文件大小
AOF日志由主线程写入。是先执行数据写入命令,然后再写日志;但是AOF重写是后台子进程来写。
- 自动触发: 根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数确定自动触发时机。其中auto-aof-rewrite-min-size表示运行AOF重写时文件最小体积,默认为64MB。auto-aof-rewrite-percentage表示当前AOF文件大小(aof_current_size)和上一次重写后AOF文件大小(aof_base_size)的比值(新的增量达到了上次重写后文件大小的百分比)。自动触发时机为 aof_current_size > auto-aof-rewrite-min-size &&(aof_current_size - aof_base_size)/aof_base_size> = auto-aof-rewrite-percentage
https://blog.csdn.net/sj15814963053?type=blog