一、简介
Redis在使用过程中,可能会遇到Big Key问题,即Redis中某个key的value过大,所以Big Key问题本质是Big Value问题,导致Redis的性能下降或者崩溃。
二、Big Key问题
Redis是一款内存数据库。需要将大key全部加载到内存中,这会占用大量的内存空间,会降低Redis的响应速度,这个问题被称为Big Key问题。可能让Redis瞬间编程“龟速”。由于Redis单线程的特性,操作Big Key通常比较耗时,意味着阻塞Redis可能性越大,导致客户端阻塞或者引起故障切换,还可能导致慢查询。
2.1、什么情况叫Big Key?
1、String类型的key 对应的value超过 5 MB;
2、list、set、hash、zset等集合,集合元素个数超过5000个。
注意:该标准要分业务场景。当操作某个key导致请求响应时间变慢,那么该key就可判断为Big Key。
2.3、业界规范
参考阿里、快手Redis开发规范:
string类型控制在10KB以内;
hash、list、set、zset元素个数不要超过5000。
2.4、危害
1、慢查询:由于bigkey包含的数据量很大,导致一次请求的执行时间可能会很长,导致慢查询问题。
2、集群内存分布不均:集群模式下,bigkey较多的节点内存占用偏高,影响集群稳定性。
3、过期阻塞:当bigkey过期(删除)时,由于Redis单线程,会导致Redis阻塞从而影响客户端命令执行。
4、网卡超负荷:试想一个string类型的key数据量为10mb,这时10000个用户请求该key,那么会需要约100G的网卡带宽,影响服务器的正常运转。
2.5、什么原因导致Big Key?
1、对象序列化后大小过大
2、存储大量数据的容器。比如set,list等
3、大型数据结构。比如bitmap、HyperLogLog等
三、Big Key排查
当出现Redis性能急剧下降的情况时,很可能是由于存在Big key导致的。在排除Big key问题时,可以考虑采取以下几种方法:
3.1、使用Big KeyKey命令
Redis自带的 BIGKEYS 命令可以查询当前Redis中所有key的信息,对整个数据库中的键值对大小情况进行统计分析,比如说,统计每种数据类型的键值对个数以及平均大小。此外,这个命令执行后,会输出每种数据类型中最大的 bigkey 的信息,对于 String 类型来说,会输出最大 bigkey 的字节长度,对于集合类型来说,会输出最大 bigkey 的元素个数
命令会扫描整个数据库,这个命令本身会阻塞Redis,找出所有的BigKey,并将其以一个列表的形式返回给客户端
命令格式如下:
返回格式如下:
![](https://img2023.cnblogs.com/blog/934263/202310/934263-20231027154220847-2004687258.png)
注意:BigKey命令需要扫描整个数据库,会对Redis实例造成一定的负担。在执行该命令之前,请确保Redis实例有足够的资源来处理它,建议在从节点执行。
3.2、Debug object
如果找到了Big Key,就需要对其进行进一步的分析。我们可以使用命令debug object key
查看某个key的详细信息,包括该key的value大小等。这时候你就可以“窥探”Redis的内部,看看到底是哪个key太大了。
Debug Object 命令是一个调试命令,当 key 存在时,返回有关信息。 当 key 不存在时,返回一个错误。
![](https://img2023.cnblogs.com/blog/934263/202310/934263-20231027154601356-1793594766.png)
注意:serializedlength表示key对应的value序列化之后的字节数。
3.3、memory usage
在Redis4.0之前,只能通过DEBUG OBJECT命令估算key的内存使用(字段serializedlength),但DEBUG OBJECT命令是有误差的。
4.0版本及以上,我们可以使用memory usag命令。
memory usage命令使用非常简单,直接按memory usage key名字;如果当前key存在,则返回key的value实际使用内存估算值;如果key不存在,则返回nil。
对于除String类型之外的类型,memory usage命令采用抽样的方式,默认抽样5个元素,所以计算是近似值,我们也可以指定抽样的个数。
示例说明:生成一个100w个字段的hash键:hkey,每字段的value长度是从1~1024字节的随机值。
![](https://img2023.cnblogs.com/blog/934263/202310/934263-20231027154936880-1762485413.png)
注意:要想获取key较精确的内存值,就指定更大抽样个数。但是抽样个数越大,占用cpu时间分片就越大。
3.4、redis-rdb-tools
redis-rdb-tools 是一个 python 的解析 rdb 文件的工具,在分析内存的时候,我们主要用它生成内存快照。可以把 rdb 快照文件生成 CSV 或 JSON 文件,也可以导入到 MySQL 生成报表来分析。
使用 PYPI 安装
生成内存快照
rdb -c memory dump.rdb > memory.csv
在生成的 CSV 文件中有以下几列
![](https://img2023.cnblogs.com/blog/934263/202310/934263-20231027155149782-1734401068.png)
可以在MySQL中新建表然后导入进行分析,然后可以直接通过SQL语句进行查询分析。
![](https://img2023.cnblogs.com/blog/934263/202310/934263-20231027155206914-2140996650.png)
例子:查询内存占用最高的3个 key:
![](https://img2023.cnblogs.com/blog/934263/202310/934263-20231027155224089-874929873.png)
四、Big Key处理思路
当发现存在大key问题时,我们需要及时采取措施来解决这个问题。下面列出几种可行的解决思路:
4.1、分割Big Key
将Big Key拆分成多个小的key。这个方法比较简单,但是需要修改应用程序的代码。就像是把一个大蛋糕切成小蛋糕一样,有点费力,但是可以解决问题。
或者尝试将Big Key转换成Redis的数据结构。例如,将Big Key转换成Hash,List或者Set等数据结构
4.2、对象压缩
如果大key的大小主要是由于对象序列化后的体积过大,我们可以考虑使用压缩算法来减小对象的大小。Redis自身支持多种压缩算法,例如LZF、Snappy等。
4.3、直接删除
如果你使用的是Redis 4.0+的版本,可以直接使用 unlink命令去异步删除。4.0以下的版本 可以考虑使用 scan ,分批次删除。
无论采用哪种方法,都需要注意以下几点:
1、避免使用过大的value。如果需要存储大量的数据,可以将其拆分成多个小的value。
2、避免使用不必要的数据结构。例如,如果只需要存储一个字符串,就不要使用Hash或者List等数据结构。
3、定期清理过期的key。如果Redis中存在大量的过期key,就会导致Redis的性能下降。就像是家里的垃圾,需要定期清理。
4、对象压缩。