Redis大Key问题如何排查？如何解决？

Redis 大 Key 是指存储在 Redis 中的键值对，其中键对应的 value 占用了较大的内存空间，或者包含了大量的元素。例如，一个存储了数百万个元素的集合（Set）类型的键，或者一个存储了一个很大的字符串（长度可能达到几十 MB 甚至更大）的键都被认为是大 Key。

Redis 大 Key 并没有统一的固定标准，当字符串存储了一个很大的值，例如 10M 以上，或集合存储了一个上百万元素的值，那就认为是 Redis 的大 Key 问题了。

1.主要影响

大 Key 问题造成的主要问题是让 Redis 服务阻塞，无法处理其他命令的响应（客户端可能因此出现请求超时的问题）。因为对大 Key 进行读写操作时，由于需要处理大量的数据，这些操作可能会非常耗时，这就会导致 Redis 主线程被阻塞，无法及时处理其他客户端的请求。

2.常见场景

大 Key 的常见场景有以下几个：

缓存大数据（图片和视频元数据）：在缓存场景中，可能会将大型的文件内容（如图片、视频元数据）缓存到 Redis 中。例如，一个视频分享网站可能会将视频的详细描述、标签、点赞数、评论数等信息以 JSON 字符串的形式缓存为一个大 Key，方便快速获取视频相关的所有数据。
明星或网红粉丝列表：如果使用 ZSet 来存储粉丝和关注列表的话，如果是某些明星或网红的粉丝列表将会很大，可能存储元素超千万甚至是亿级别。
商品页所有信息：在电商应用中，可能需要将商品信息，如商品 ID、名称、描述、价格、库存、图片、评价等都缓存到 Redis 中的话，当商品详情和评价（几十上百万条评价）比较多时，这个 Key 就可能变得非常大。

3.排查大Key问题

排查大 Key 的方案有以下几个。

3.1 BIGKEYS

Redis 自带的 BIGKEYS 命令可以查询当前 Redis 中所有 key 的信息，对整个数据库中的键值对大小情况进行统计分析。它会查出每种数据结构的最大 Key，但不能根据某个容量进行筛查。比如说，统计每种数据类型的键值对个数以及平均大小，如下图所示：

3.2 MEMORY USAGE

Redis 4.0+ 后推出了 MEMORY USAGE 命令，该命令可以返回指定 key 的内存使用情况，返回使用的内存的字节数。通过遍历所有的 key 并使用此命令，可以找出占用内存较大的 key。但需要注意的是，对于复杂数据结构（如 List、Set 等），MEMORY USAGE 命令返回的是近似值，因为它采用抽样方式来估算内存使用，如下图所示：

3.3 OBJECT

OBJECT encoding 可以查看键值对象的编码类型，不同的编码类型可能暗示了键值的复杂程度和大小。例如，如果一个字符串类型的键采用了 raw 编码且长度很长，那么它可能是一个大 Key，如下图所示：

4.解决大Key问题

大 Key 的解决方案有以下几个。

4.1 拆分大Key

将大 Key 拆分成多个小 Key，分别存储不同部分的数据。这样可以减少单个 Key 的内存占用，提高查询性能，拆分的常用方法有以下几个：

按业务逻辑拆分：如果大 Key 是一个包含大量聚合数据的键，可以根据业务逻辑将其拆分为多个小的键。例如，对于一个包含全品类商品销售数据的大 Key，可以按照品类拆分为多个小的键，每个键只存储一个品类的销售数据。
按时间范围拆分：对于存储时间序列数据的大 Key，如日志数据或统计数据，可以按照时间范围进行拆分。比如，将一天的日志数据拆分为每小时一个键，这样可以更灵活地管理和删除过期数据。

4.2 使用压缩算法

对于可以压缩的数据类型（如字符串），可以使用压缩算法（如 LZF 等）来减少内存占用。Redis 本身支持一些压缩算法，可以在一定程度上减少大 Key 的内存占用。

4.3 使用合适的数据结构和存储方式

考虑使用其他存储系统：如果数据实在太大且不适合存储在 Redis 中，可以考虑将部分数据转移到其他存储系统，如将大型文件存储到分布式文件系统（如 MinIO、Ceph 等），只在 Redis 中保留文件的元数据或引用。
优化 Redis 数据结构选择：根据数据的访问模式和特性，选择更合适的 Redis 数据结构。例如，如果一个集合类型的大 Key 主要用于判断元素是否存在，可以考虑使用布谷鸟哈希（Cuckoo Hash）等空间效率更高的数据结构替代传统的集合结构。

4.4 设置合理的过期时间

如果大 Key 中的数据不是一直需要的，可以设置过期时间，让 Redis 在一定时间后自动删除该 Key。这样可以避免大 Key 长期占用内存，导致内存泄漏。

4.5 加强监控和管理

建立对 Redis 的监控系统，实时监测大 Key 的出现和内存使用情况。当发现大 Key 或者内存占用过高时，及时发出预警，以便采取相应的措施进行处理。如 Redis Insights、Prometheus 等，设置对大 key 和内存使用的监控指标。

注意事项：大Key删除

删除大 Key 时要注意，要使用 UNLINK 命令代替 DEL 命令来删除大 Key。UNLINK 命令会立即返回，后台异步删除数据，避免阻塞，如下图所示：

小结

Redis 大 Key 问题会让 Redis 服务阻塞，无法响应其他命令，可能会导致客户端响应超时等问题。排查大 Key 问题可以使用 BIGKEYS、MEMORY USAGE、OBJECT 等命令。它的解决方案有：拆分大 Key、压缩数据、使用合适数据结构和存储方式、设置合理过期时间，以及加强监控和管理等手段。