【Redis】【高性能】Redis 批量查询技巧
1 前言
Redis，我们做开发的想必都用过，他是一种缓存，主要用于快速响应结果嘛。比如我们要获取商品的详情，有日销量、月销量、库存数量、评价数量，这些数据都在Redis 缓存中，那么我们是要拿四趟？还是一趟呢？当然是一趟最好呀。接下来我们来看看为什么我们要一趟这么做，以及怎么做。
2 为什么需要批量执行命令
我们看一下交互过程：
每次客户端发送一个一个请求命令，Redis 服务端接收到命令后，将命令放在队列内，一个一个命令执行，并将结果返回。
批量执行命令有三点优势：
-
提高命令执行效率
减少了网络延迟，从而提高了 Redis 服务器的响应速度。批量执行减少了每个命令的单独网络传输开销，有效降低了往返时间（RTT）。
-
简化客户端逻辑
通过将多个命令封装成一个操作，客户端的处理逻辑变得更加简洁和清晰。这使得客户端代码更易读、易维护。
-
提升事务性能
批量执行命令能够确保一组命令在同一时间内执行，从而提高了事务的性能。这对于需要保持原子性的操作尤为重要，确保一组命令要么全部执行成功，要么全部失败。
接下来，我们详细讲解批量查询的四种方式。
- 字符串 MGET命令
- 哈希表 HMGET命令
- 管道技术
- Lua 脚本
3 批量查询
3.1 字符串 MGET命令
MGET 是 Redis 中的一个命令，用于批量获取多个字符串键的值。它接受一个或多个键作为参数，返回与这些键关联的值。
以下是一个简要的描述：
-
key1,key2, ...,keyN：要获取值的键列表。 -
MGET返回一个包含相应值的列表，如果键不存在，则对应的位置返回nil。
该命令主要用于一次性获取多个键的值，可以减少多次单独查询的开销，提高效率。
接下来，我们展示 SpringBoot 项目展示如何使用 MGET 命令。
图中，我们分别设置（key：a , b , c） 三个 key 的值，然后定义一个列表对象 keys， 列表中包含了一个不存在的键 "d"。
当我们使用 MULTIGET 命令查看结果时，发现返回的结果是一个列表对象，列表对象的大小是 4，同时第三个对象值为 NULL ，也就是键 “d” 对应的值为 nil。
要注意的是，在集群模式下，使用mget通过keys批量获取value时，可能会出现：ERR CROSSSLOT Keys in request don’t hash to the same slot，其实就是集群模式下，多个key可能会存在不同的 slot 上，所以要么你存放的时候九用 hash tag 的方式保证他们都在同一个 slot上，但是也要注意数据倾斜，防止单个节点的负载过高。
3.2 哈希表 HMGET命令
HMGET 是 Redis 中的命令之一，用于获取哈希表中指定字段的值。
它接受一个哈希表的键以及一个或多个字段名作为参数，返回与这些字段名关联的值。以下是 HMGET 命令的基本语法：
如果给定的域不存在于哈希表，那么返回一个 nil 值。
因为不存在的 key 被当作一个空哈希表来处理，所以对一个不存在的 key 进行 HMGET 操作将返回一个只带有 nil 值的表。
接下来，我们展示 SpringBoot 项目展示如何使用 HMGET 命令。
首先分别设置键为 "myhashkey" 下的三个字段（field）的值 ，然后定义需要查询的字段集合 fields ，最后调用哈希表的 HMGET 命令。
和 MGET命令的结果类似，spring data redis 会将结果封装成 List 对象，列表对象的大小是 4，同时第三个对象值为 NULL ，因为字段 “d” 对应的值为 nil。
3.3 管道技术
Redis Pipeline（管道）命令是一种优化网络通信的技术，可以将多个命令一次性发送给 Redis 服务器，可以减少客户端与 Redis 服务器之间的网络通信次数。
客户端将多个命令一次性发送给 Redis 服务器，Redis 服务器缓存这些命令，并一次性执行，最后将执行结果一次性返回给客户端。
通过使用 Redis Pipeline，显而易见的好处是避免了在每个命令执行时都进行一次网络通信，从而显著降低了时间开销。
1 次 pipeline（n条命令） = 1 次网络时间 + 执行n 条命令时间
接下来，我们展示 SpringBoot 项目展示如何使用 Pipeline 管道命令。
首先分别设置三个键（key：a, b, c）的值，然后分别设置键为 "myhashkey" 下的三个字段（field）的值， 最后调用 Pipeline 执行多个命令，并获取结果。
需要注意的是：
-
Redis Cluster 中 Pipeline 命令操作可能无法保证原子性！
由于 Redis Cluster 采用的是分片机制，这些键无法保证所有的 key 都在同一区域的哈希槽上。因此，即使使用了 Pipeline，每个命令仍可能在不同的节点上进行处理，导致多个命令的执行不在同一时刻。
-
Pipeline 能执行有依赖关系的命令吗？
不可以。如果 Pipeline 中后一个命令的执行依赖于前一个命令的执行结果，Pipeline 无法满足这样的需求。
-
Pipeline 对发送的命令有数量限制吗？
虽然命令可以一次性发给 Redis 服务端，但是考虑到带宽等情况，建议不要超过500个命令，或者根据实际命令的数据类型和大小进行调整。这样可以避免潜在的性能问题。
3.4 Lua 脚本
Redis Lua 脚本是一种在 Redis 服务器上执行的脚本语言，基于 Lua 编程语言。
这种脚本可以包含多个 Redis 命令，而且它们在 Redis 服务器上以原子性操作的方式执行。通过使用 Lua 脚本，你可以在服务器端执行一系列的 Redis 命令，而不需要将它们一条一条地发送到服务器。
Redis 执行 Lua 脚本有两种执行方式：Eval 和 EvalSHA 。
3.4.1 Eval
EVAL命令的执行过程主要可以分为三个步骤：
-
根据客户端提供的 Lua 脚本，在 Lua 环境中定义一个 Lua 函数。
Lua 函数的名称实际上是以 "f_" 为前缀加上脚本本身计算出的 SHA1 值，例如
f_ddfsdfjgjbg33rndgj00，其中 SHA1 的长度为40字符。函数体则是脚本本身。 -
将客户端提供的脚本保存到
lua_scripts字典中。简单来说，就是添加一个键值对，其中键是 Lua 脚本的 SHA1 校验和，值是 Lua 脚本本身。这主要是为了以后能够复用这个脚本。 -
执行第一步在 Lua 环境中定义的函数，从而执行客户端提供的 Lua 脚本。这个过程利用了在步骤二中保存的 SHA1 校验和来调用对应的 Lua 函数。
这个流程使得 Redis 能够高效地处理客户端提供的 Lua 脚本，同时通过缓存 SHA1 校验和，可以减少重复传输脚本的开销，提高效率。
在Redis中，使用了 Key 列表和参数列表来为Lua脚本提供更多的灵活性，执行 Eval 命令的格式为：
下图演示下 Lua 如何调用 Redis 命令 ，通过redis.call()来执行了 Redis 命令 。
3.4.2 EvalSHA
与 EVAL 不同，EVALSHA 的主要目的是通过脚本的 SHA1 校验和来执行预先在服务器端加载的 Lua 脚本，从而避免重复传输脚本的开销。
使用步骤：
（1）加载 Lua 脚本到 Redis 服务端：
首先，将 Lua 脚本加载到 Redis 服务端。这可以通过 SCRIPT LOAD 命令完成。执行 SCRIPT LOAD 后，会返回一个 SHA1 校验和，该值唯一标识了加载的 Lua 脚本。
这会返回SHA1 校验和: a1104f2250e5dd9fc10c3c681ddb389e7bd4a2cf。
（2）执行 Lua 脚本：
一旦 Lua 脚本被加载并获得了 SHA1 校验和，之后就可以使用 EVALSHA 命令来执行该脚本。
接下来，我们展示 SpringBoot 项目展示如何使用：
首先分别设置三个键（key：a, b, c）的值，然后分别设置键为 "myhashkey" 下的三个字段（field）的值， 并编写 Lua 脚本，执行 Lua 脚本并获取结果。
4 小结
好啦，介绍了Redis 中批量查询的四种技巧：
1、MGET（批量获取字符串值）：
简单直接，适用于批量获取字符串值的场景。
2、HMGET（批量获取哈希表字段值）：
适用于批量获取哈希表中的字段值，可以在一个命令中获取多个字段。
3、Pipeline（管道）：
最小化网络开销，一次性发送多个不同的命令，管道中的命令按照执行顺序依次执行，减少往返时间。高并发场景下，可以显著提高性能。
4、Lua脚本：
使用 Lua 脚本的好处 ：
- 减少网络开销。将多个请求通过脚本的形式一次发送，减少网络时延。
- 原子操作。Redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。
- 复用。客户端发送的脚本会永久存在 Redis 中，其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。
当然 使用 Lua 脚本也会有瑕疵，编写和维护相对复杂。
