大Key

如何定义

以 Key 的大小和Key中成员的数量来综合判定，例如：

• Key本身的数据量过大。例如，一个String类型的Key，它的值为5 MB。

• Key中的成员数过多。例如，一个ZSET类型的Key，它的成员数量为10,000个。

• Key中成员的数据量过大。例如，一个Hash类型的Key，它的成员数量虽然只有2,000个但这些成员的Value（值）总大小为100 MB。

危害

• 内存不均：单 Value 较大时候，可能会导致节点之间内存使用不均匀，导致负载不均衡。
• 阻塞请求：redis 为单线程，单 Value 较大读写需要较长的处理时间，会阻塞后续的请求处理。
• 阻塞网络：单 Value 较大时会占用服务器网卡较多带宽，可能导致出口带宽打满，影响该服务器傻姑娘单其它 Redis 实例或应用。
• 删除阻塞：对大Key执行删除操作，易造成主库较长时间的阻塞，进而可能引发同步中断或主从切换。

产生的原因

• 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；

• 业务上线前规划设计不足，没有对Key中的成员进行合理的拆分，造成个别Key中的成员数量过多；

• 未定期清理无效数据，造成如HASH类型Key中的成员持续不断地增加；

• 使用LIST类型Key的业务消费侧发生代码故障，造成对应Key的成员只增不减。

处理方案

• 对大Key进行拆分。例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。

• 对过期数据进行定期清理。堆积大量过期数据会造成大Key的产生，例如在HASH数据类型中以增量的形式不断写入大量数据而忽略了数据的时效性。可以通过定时任务的方式对失效数据进行清理。在清理HASH数据时，建议通过HSCAN命令配合HDEL命令对失效数据进行清理，避免清理大量数据造成Redis阻塞。

 

• 对大Key进行清理，将不适用Redis能力的数据存至其它存储，并在Redis中删除此类数据。
  • Redis 4.0及之后版本：您可以通过UNLINK命令安全地删除大Key甚至特大Key，该命令能够以非阻塞的方式，逐步地清理传入的Key。
  • Redis 4.0之前的版本：建议先通过SCAN命令读取部分数据，然后进行删除，避免一次性删除大量key导致Redis阻塞。

应用

比如100万个string对象，test1、test2、。。。testN。将100万个键，映射到1000个hash中，每个hash保存1000个元素。

映射规则：Hash（原key）% 1000得到新key，field为原key，value保存原对象值。

额外用一组hash记录field过期时间。

数据读取时，需要通过hget（Hash（原key）% 1000, field）。