Redis异常分析-输入缓冲区过大以及client_list详解
https://www.cnblogs.com/pc-boke/articles/10078733.html
一、输入缓冲区概念
Redis为每个客户端分配了输入缓冲去,它的作用是将客户端发送的命令临时保存,同时Redis会到输入缓冲区拉取命令并执行,输入缓冲区为客户端发送命令道Redis执行命令提供了缓冲功能。qbuf代表了输入缓冲区的大小,qbuf-free代表输入缓冲区的剩余容量。输入缓冲区会根据输入内容的大小动态调整,每个客户端的输入缓冲区大小不能超过1G。超过后客户端将被关闭。
二、输入缓冲区过大的危害
(1)一旦客户端的输入缓冲区超过1G,客户端将会被关闭
(2) 输入缓冲区不受maxmemory的控制,假设一个Redis设置了maxmemory为4G,已经存储了2G数据,但是如果此时输入缓冲区使用了3GB,已经超过了maxmemeory限制,可能会产生数据丢失,键值淘汰,OOM等情况。
三.、引起输入缓冲区过大的原因
(1) redis的处理速度跟不上输入缓冲区的输入速度,并且每次进入输入缓冲区的命令包含大量的bigkey,从而造成了输入缓冲区过大的情况。
(2) redis发生了阻塞,短期内不能处理命令。造成客户端命令积压在输入缓冲区,导致输入缓冲区过大。
四. 监控输入缓冲区异常的方法
4.1
client list
通过定期执行client list命令,收集qbuf和qbuf-free找到异常的连接记录并分析,最终可能出问题的客户端。
10.3.34.101:6378> client list id=10521 addr=10.3.34.101:39696 fd=5name= age=4017 idle=41 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=rcmd=client id=10533 addr=10.3.34.101:48896 fd=6name= age=6 idle=0 flags=N db=0 sub=0 psub=0 multi=-1qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client
4.2
info clients
通过info命令的info clients模块,找到最大的输入缓冲区
10.3.34.101:6378> info clients # Clients connected_clients:2 client_longest_output_list:0 client_biggest_input_buf:0 blocked_clients:0
4.3 client list与infoclients监控输入缓冲区的优劣势
CLIENT LIST 详解
redis> CLIENT LIST addr=127.0.0.1:43143 fd=6 age=183 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client addr=127.0.0.1:43163 fd=5 age=35 idle=15 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping addr=127.0.0.1:43167 fd=7 age=24 idle=6 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=get
可用版本 >= 2.4.0
时间复杂度 O(N) , N 为连接到服务器的客户端数量。 返回值 命令返回多行字符串,这些字符串按以下形式被格式化: 每个已连接客户端对应一行(以 LF 分割) 每行字符串由一系列 属性=值 形式的域组成,每个域之间以空格分开 以下是域的含义: addr : 客户端的地址和端口 fd : 套接字所使用的文件描述符 age : 以秒计算的已连接时长 idle : 以秒计算的空闲时长 flags : 客户端 flag (见下文) db : 该客户端正在使用的数据库 ID sub : 已订阅频道的数量 psub : 已订阅模式的数量 multi : 在事务中被执行的命令数量 qbuf : 查询缓冲区的长度(字节为单位, 0 表示没有分配查询缓冲区) qbuf-free : 查询缓冲区剩余空间的长度(字节为单位, 0 表示没有剩余空间) obl : 输出缓冲区的长度(字节为单位, 0 表示没有分配输出缓冲区) oll : 输出列表包含的对象数量(当输出缓冲区没有剩余空间时,命令回复会以字符串对象的形式被入队到这个队列里) omem : 输出缓冲区和输出列表占用的内存总量 events : 文件描述符事件(见下文) cmd : 最近一次执行的命令 客户端 flag 可以由以下部分组成: O : 客户端是 MONITOR 模式下的附属节点(slave) S : 客户端是一般模式下(normal)的附属节点 M : 客户端是主节点(master) x : 客户端正在执行事务 b : 客户端正在等待阻塞事件 i : 客户端正在等待 VM I/O 操作(已废弃) d : 一个受监视(watched)的键已被修改, EXEC 命令将失败 c : 在将回复完整地写出之后,关闭链接 u : 客户端未被阻塞(unblocked) A : 尽可能快地关闭连接 N : 未设置任何 flag 文件描述符事件可以是: r : 客户端套接字(在事件 loop 中)是可读的(readable) w : 客户端套接字(在事件 loop 中)是可写的(writeable)
见地址:https://blog.csdn.net/sunhuiliang85/article/details/75102191
努力让自己变得不那么low