Redis04-小功能大用处

Redis提供的5种数据结构已经足够强大，但除此之外，Redis还提供了诸如慢查询分析、功能强大的Redis Shell、Pipeline、事务与Lua脚本、Bitmaps、HyperLogLog、发布订阅、GEO等附加功能。
- 慢查询分析：通过慢查询分析，找到有问题的命令进行优化。
- Redis Shell：功能强大的Redis Shell会有意想不到的实用功能。
- Pipeline：通过Pipeline（管道或者流水线）机制有效提高客户端性能。
- 事务与Lua：制作自己的专属原子命令。
- Bitmaps：通过在字符串数据结构上使用位操作，有效节省内存，为开发提供新的思路。
- HyperLogLog：一种基于概率的新算法，难以想象地节省内存空间。
- 发布订阅：基于发布订阅模式的消息通信机制。
- GEO：Redis3.2提供了基于地理位置信息的功能。

1、慢查询分析

慢查询日志就是系统在命令执行前后计算每条命令的执行时间，当超过预设阀值，就将这条命令的相关信息（例如：发生时间，耗时，命令的详细信息）记录下来。
如图3-1所示，Redis客户端执行一条命令分为如下4个部分：

注意，慢查询只统计步骤(3)的时间，所以没有慢查询并不代表客户端没有超时问题。

1.1、慢查询的两个配置参数

对于慢查询功能，需要明确两件事：
- 预设阀值怎么设置？
- 慢查询记录存放在哪？

#设置预设阀值
slowlog-log-slower-than 10000
#最多记录多少条慢查询日志
slowlog-max-len 128

slowlog-log-slower-than设置预设阀值，单位是微秒（1秒=1000毫秒=1000000微秒），默认值是10000。
- 注意，零值强制记录每个命令，负数禁用慢日志
- 假如执行了一条“很慢”的命令（例如keys *），如果它的执行时间超过了10000微秒，那么它将被记录在慢查询日志中。
slowlog-max-len只是说明了最多记录多少条慢查询日志，并没有说明存放在哪里。
- 实际上Redis使用了一个列表来存储慢查询日志，slowlog-max-len就是列表的最大长度。
- 一个新的命令满足慢查询条件时被插入到这个列表中，当慢查询日志列表已处于其最大长度时，最早插入的一个命令将从列表中移出。
- 注意它会消耗内存。可以使用SLOWLOG RESET回收慢日志使用的内存。

在Redis中有两种修改配置的方法，一种是修改配置文件，另一种是使用config set命令动态修改。
- 使用config set命令将slowlog-log-slowerthan设置为20000微秒，slowlog-max-len设置为1000。

#设置值
10.1.1.11:6379> config set slowlog-log-slower-than 2000
OK
10.1.1.11:6379> config set slowlog-max-len 100
OK
 
#查看值
10.1.1.11:6379> config get slowlog-log-slower-than
1) "slowlog-log-slower-than"
2) "2000"
10.1.1.11:6379> config get slowlog-max-len
1) "slowlog-max-len"
2) "100"

- 执行config rewrite命令，可以将配置持久化到本地配置文件。

//将配置持久化到本地配置文件
10.1.1.11:6379> config rewrite
OK
 
//查看本地配置文件
]# cat /apps/redis/6379.conf  | grep slowlog
slowlog-log-slower-than 2000
slowlog-max-len 100

1.2、查看和管理慢查询日志

SLOWLOG GET [count]    #从slowlog返回顶级条目(默认为10)。条目包括:标识id、发生时间戳、命令耗时(以微秒为单位)、执行命令和参数、客户端IP和端口、客户端名称
SLOWLOG LEN            #返回慢日志列表的长度
SLOWLOG RESET          #重置slowlog（清空慢日志存储列表）。

示例：

10.1.1.11:6379> SLOWLOG GET
1) 1) (integer) 6
   2) (integer) 1660400164
   3) (integer) 13
   4) 1) "keys"
      2) "*"
   5) "10.1.1.12:47556"
   6) ""
...
 
10.1.1.11:6379> SLOWLOG LEN
(integer) 8
10.1.1.11:6379> SLOWLOG RESET
OK
10.1.1.11:6379> SLOWLOG LEN
(integer) 0

1.3、最佳实践

slowlog-max-len配置建议：线上建议调大慢查询列表，记录慢查询时Redis会对长命令做截断操作，并不会占用大量内存。增大慢查询列表可以减缓慢查询被剔除的可能，例如线上可设置为1000以上。
slowlog-log-slower-than配置建议：默认值超过10毫秒判定为慢查询，需要根据Redis并发量调整该值。由于Redis采用单线程响应命令，对于高流量的场景，如果命令执行时间在1毫秒以上，那么Redis最多可支撑OPS不到1000。因此对于高OPS场景的Redis建议设置为1毫秒。
慢查询只记录命令执行时间，并不包括命令排队和网络传输时间。因此客户端执行命令的时间会大于命令实际执行时间。因为命令执行排队机制，慢查询会导致其他命令阻塞，因此当客户端出现请求超时，需要检查该时间点是否有对应的慢查询，从而分析出是否为慢查询导致的命令阻塞。
由于慢查询日志是一个先进先出的队列，也就是说如果慢查询比较多的情况下，可能会丢失部分慢查询命令，为了防止这种情况发生，可以定期执行slow get命令将慢查询日志持久化到其他存储中（例如MySQL），然后可以制作可视化界面进行查询。

2、Redis Shell

2.1、redis-cli详解

redis-cli [OPTIONS] [cmd [arg [arg ...]]]
  -h <hostname>      Redis服务器的IP或主机名(default: 127.0.0.1).
  -p <port>          Redis服务器端口(default: 6379).
  -a <password>      连接到Redis服务器时使用的密码。
 
  --raw              要求命令的返回结果必须是格式化的
  --no-raw           要求命令的返回结果必须是原始的格式
 
  -r <repeat>        将命令执行多次。
  -i <interval>      每隔几秒执行一次命令，但是-i选项必须和-r选项一起使用
  -x                 从标准输入（stdin）读取数据作为redis-cli的最后一个参数
  --scan             使用SCAN命令列出所有--pattern匹配到的键。
  --pattern <pat>    使用--scan，--bigkeys或--hotkeys选项时的键模式(default: *).
  --pipe             将命令封装成Redis通信协议定义的数据格式，批量发送给Redis执行
 
  --bigkeys          使用scan命令对Redis的键进行采样，从中找到内存占用比较大的键值，这些键可能是系统的瓶颈。
  --stat             可以实时获取Redis的重要统计信息，虽然info命令中的统计信息更全，但是能实时看到一些增量的数据（例如requests）对于Redis的运维还是有一定帮助的
  --latency          可以测试客户端到目标Redis的网络延迟
  --latency-history  --latency的执行结果只有一条。--latency-history默认每15秒输出一次信息
  --latency-dist     使用统计图表的形式从控制台输出延迟统计信息。默认时间间隔为1秒。
 
  --rdb <filename>   请求远程Redis服务器生成RDB，并传输RDB转储到本地文件。
 
  --eval <file>     用于执行指定Lua脚本 
 
  -c                 启用集群模式(遵循-ASK和-MOVED重定向)。

示例：

//每隔1秒输出内存的使用量，一共输出100次
]# redis-cli -h 10.1.1.11 -p 6379 -a hengha123 -r 100 -i 1 info | grep used_memory_human
 
//从标准输入（stdin）读取数据作为redis-cli的最后一个参数
]# echo "world" | redis-cli -h 10.1.1.11 -p 6379 -a hengha123 -x set hello
 
//实时获取Redis的重要统计信息
]# redis-cli -h 10.1.1.11 -p 6379 -a hengha123 --stat
 
//测试网络延迟
]# redis-cli -h 10.1.1.11 -p 6379 -a hengha123 --latency
]# redis-cli -h 10.1.1.11 -p 6379 -a hengha123 --latency-history
]# redis-cli -h 10.1.1.11 -p 6379 -a hengha123 --latency-dist

2.2、redis-server详解

redis-server
redis-server [/path/to/redis.conf] [options]
redis-server --test-memory <megabytes>
 
redis-server -v or --version
redis-server -h or --help

redis-server --test-memory <megabytes>命令可以用来检测当前操作系统能否稳定地分配指定容量的内存给Redis，通过这种检测可以有效避免因为内存问题造成Redis崩溃

示例：

redis-server
redis-server /etc/redis/6379.conf
redis-server --port 7777
redis-server --port 7777 --replicaof 127.0.0.1 8888
redis-server /etc/myredis.conf --loglevel verbose

2.3、redis-benchmark详解

redis-benchmark可以为Redis做基准性能测试，它提供了很多选项帮助开发和运维人员测试Redis的相关性能。

redis-benchmark [-h <host>] [-p <port>] [-c <clients>] [-n <requests>] [-k <boolean>]
  -h <hostname>      Redis服务器的IP或主机名(default 127.0.0.1)
  -p <port>          Redis服务器端口(default 6379)
  -a <password>      连接到Redis服务器时使用的密码。
  -c <clients>       并行连接数(default 50)
  -n <requests>      请求总数(default 100000)
  -q                 安静。只显示查询/秒值
  -r <keyspacelen>   向Redis插入随机键。keyspacelen键名最后几位是随机值，例如10000表示只对键名的后四位做随机处理
  -P <numreq>        每个请求pipeline的数据量（默认为1）。 
  -k <boolean>       客户端是否使用keepalive，1为使用，0为不使用(default 1)
  -t <tests>         可以对指定命令进行基准测试。
  --csv              以CSV格式输出

示例：

//100个客户端同时请求Redis，一共执行20000次
]# redis-benchmark -h 10.1.1.11 -p 6379 -a hengha123 -c 100 -n 20000
  20000 requests completed in 1.18 seconds
  100 parallel clients
  3 bytes payload
  keep alive: 1
99.78% <= 9 milliseconds
16877.64 requests per second
 
//仅显示redis-benchmark的requests per second信息
]# redis-benchmark -h 10.1.1.11 -p 6379 -a hengha123 -c 100 -n 20000 -q
PING_INLINE: 18115.94 requests per second
PING_BULK: 18198.36 requests per second
SET: 17064.85 requests per second
LRANGE_500 (first 450 elements): 6053.27 requests per second
LRANGE_600 (first 600 elements): 5142.71 requests per second
MSET (10 keys): 15564.20 requests per second
 
//-r选项会在key、counter键上加一个12位的后缀，-r10000代表只对后四位做随机处理（-r不是随机数的个数）
]# redis-benchmark -h 10.1.1.11 -p 6379 -a hengha123 -c 100 -n 20000 -r 10000
 
10.1.1.11:6379> scan 0
1) "384"
2)  1) "counter:000000001749"
    2) "key:000000001252"

3、Pipeline

3.1、Pipeline概念

Redis客户端执行一条命令分为如下四个过程，其中(1)和(4)称为Round Trip Time（RTT，往返时间）：
- (1)发送命令
- (2)命令排队
- (3)命令执行
- (4)返回结果
Redis提供了批量操作命令（例如mget、mset等），有效地节约RTT。但大部分命令是不支持批量操作的，例如要执行n次hgetall命令，并没有mhgetall命令存在，需要消耗n次RTT。
- Redis的客户端和服务端可能部署在不同的机器上。例如客户端在北京，Redis服务端在上海，两地直线距离约为1300公里，那么1次RTT时间=1300×2/(300000×2/3)=13毫秒（光在真空中传输速度为每秒30万公里，这里假设光纤为光速的2/3），那么客户端在1秒内大约只能执行80次左右的命令，这个和Redis的高并发高吞吐特性背道而驰。
Pipeline（流水线）将一组Redis命令进行组装，通过一次RTT传输给Redis，再将这组Redis命令的执行结果按顺序返回给客户端。

图3-5为不使用Pipeline执行了n条命令，整个过程需要n次RTT。

图3-6为使用Pipeline执行了n次命令，整个过程需要1次RTT。

Redis命令真正执行的时间通常在微秒级别，所以才会有Redis性能瓶颈是网络这样的说法。
redis-cli的--pipe选项实际上就是使用Pipeline机制，例如下面操作将set hello world和incr counter两条命令组装：

1	`echo` `-en` `'3\r\n$3\r\nSET\r\n$5\r\nhello\r\n$5\r\nworld\r\n2\r\n$4\r\nincr\r\n$7\r\ncounter\r\n'` `\| redis-cli --pipe`

但大部分开发人员更倾向于使用高级语言客户端中的Pipeline，目前大部分Redis客户端都支持Pipeline。

3.2、性能测试

表3-1给出了在不同网络环境下非Pipeline和Pipeline执行10000次set操作的效果，可以得到如下两个结论：
- Pipeline执行速度一般比逐条执行要快。
- 客户端和服务端的网络延时越大，Pipeline的效果越明显。

3.3、原生批量命令与Pipeline对比

可以使用Pipeline模拟出批量操作的效果，但是在使用时要注意它与原生批量命令的区别，具体包含以下几点：
- 原生批量命令是原子的，Pipeline是非原子的。
- 原生批量命令是一个命令对应多个key，Pipeline支持多个命令。
- 原生批量命令是Redis服务端支持实现的，而Pipeline需要服务端和客户端的共同实现。

3.4、最佳实践

Pipeline虽然好用，但是每次Pipeline组装的命令个数不能没有节制，否则一次组装Pipeline数据量过大，一方面会增加客户端的等待时间，另一方面会造成一定的网络阻塞，可以将一次包含大量命令的Pipeline拆分成多次较小的Pipeline来完成。
Pipeline只能操作一个Redis实例，但是即使在分布式Redis场景中，也可以作为批量操作的重要优化手段。

4、事务与Lua

Redis提供了简单的事务功能以及集成Lua脚本，保证多条命令组合的原子性。

4.1、事务

事务表示一组动作，要么全部执行，要么全部不执行。
- 例如在社交网站上用户A关注了用户B，那么需要在用户A的关注表中加入用户B，并且在用户B的粉丝表中添加用户A，这两个行为要么全部执行，要么全部不执行，否则会出现数据不一致的情况。

4.1.1、事务的基本使用

Redis提供了简单的事务功能，将一组需要一起执行的命令放到multi和exec两个命令之间。
- multi命令代表事务开始，exec命令代表事务结束，它们之间的命令是原子顺序执行的。

Redis提供了简单的事务，之所以说它简单，主要是因为它不支持事务中的回滚特性，同时无法实现命令之间的逻辑关系计算，当然也体现了Redis的“keep it simple”的特性。

MULTI      #事务开始
EXEC       #事务结束（开始执行事务中的命令）
DISCARD    #停止事务的执行（放弃执行事务中的命令）

示例：

//开始事务
10.1.1.11:6379> multi
OK
 
//此时的返回结果是QUEUED，代表命令并没有真正执行，而是暂时保存在Redis中。
10.1.1.11:6379> sadd user:a:follow user:b
QUEUED
10.1.1.11:6379> sadd user:b:fans user:a
QUEUED
 
//如果此时另一个客户端执行，返回结果是0
10.1.1.11:6379> sismember user:a:follow user:b
(integer) 0
 
//只有当exec执行后，事务才算完成
10.1.1.11:6379> exec
1) (integer) 1
2) (integer) 1
 
10.1.1.11:6379> sismember user:a:follow user:b
(integer) 1

4.1.2、事务中出现错误

如果事务中的命令出现错误，Redis的处理机制也不尽相同。

1、命令错误

示例：

错将set写成了sett，属于语法错误，会造成整个事务无法执行，key和counter的值未发生变化。

10.1.1.11:6379> multi
OK
10.1.1.11:6379> sett key world
(error) ERR unknown command `sett`, with args beginning with: `key`, `world`, 
10.1.1.11:6379> incr counter
QUEUED
10.1.1.11:6379> exec
(error) EXECABORT Transaction discarded because of previous errors.

2、运行时错误

示例：

用户B在添加粉丝列表时，误把sadd命令写成了zadd命令，这种就是运行时命令，因为语法是正确的。

10.1.1.11:6379> multi
OK
10.1.1.11:6379> sadd user:a2:follow user:b
QUEUED
10.1.1.11:6379> zadd user:b:fans 1 user:a2
QUEUED
10.1.1.11:6379> exec
1) (integer) 1
2) (error) WRONGTYPE Operation against a key holding the wrong kind of value
 
10.1.1.11:6379> sismember user:a2:follow user:b
(integer) 1

可以看到Redis并不支持回滚功能，sismember user:a2:follow user:b命令已经执行成功，开发人员需要自己修复这类问题。

3、事务中watch命令

有些应用场景需要在事务之前，确保事务中的key没有被其他客户端修改过，才执行事务，否则不执行（类似乐观锁）。
Redis提供了watch命令来解决这类问题，表3-2展示了两个客户端执行命令的时序。

示例：

可以看到“客户端-1”在执行multi之前执行了watch命令，“客户端-2”在“客户端-1”执行exec之前修改了key值，造成事务没有执行（exec结果为nil）。

//T1：客户端1
10.1.1.11:6379> watch key
OK
//T2：客户端1
127.0.0.1:6379> watch key
OK
//T3：客户端1
10.1.1.11:6379> multi
OK
 
//T4：客户端2
10.1.1.11:6379> append key python
(integer) 10
 
//T5：客户端1
10.1.1.11:6379> append key python
QUEUED
//T6：客户端1
10.1.1.11:6379> exec
(nil)
//T7：客户端1
10.1.1.11:6379> get key
"javapython"

4.2、Lua用法简述

Lua语言是在1993年由巴西一个大学研究小组发明，其设计目标是作为嵌入式程序移植到其他应用程序，它是由C语言实现的，虽然简单小巧但是功能强大，所以许多应用都选用它作为脚本语言。
- 尤其是在游戏领域，例如大名鼎鼎的暴雪公司将Lua语言引入到“魔兽世界”这款游戏中，Rovio公司将Lua语言作为“愤怒的小鸟”这款火爆游戏的关卡升级引擎。
- Web服务器Nginx将Lua语言作为扩展，增强自身功能。
- Redis将Lua作为脚本语言可帮助开发者定制自己的Redis命令，在这之前，必须修改源码。
Lua官方网站：http://www.lua.org/

Lua脚本功能为Redis开发和运维人员带来如下三个好处：
- Lua脚本在Redis中是原子执行的，执行过程中间不会插入其他命令。
- Lua脚本可以帮助开发和运维人员创造出自己定制的命令，并可以将这些命令常驻在Redis内存中，实现复用的效果。
- Lua脚本可以将多条命令一次性打包，有效地减少网络开销。

4.2.1、数据类型

Lua语言有4种数据类型：booleans（布尔）、numbers（数值）、strings（字符串）、tables（表格）。

1、字符串

local代表val是一个局部变量，默认是全局变量。
print函数可以打印出变量的值。
Lua语言的注释符是"--"。

示例：

下面定义一个字符串类型的数据。

local strings val = "world"
 
-- 结果是"world"
print(hello)

2、数组

在Lua中，如果要使用类似数组的功能，可以用tables类型。
Lua的数组下标从1开始计算。
要获取Lua数组的长度，只需要在变量前加一个#号即可。

示例：

定义了一个tables类型的变量myArray。

local tables myArray = {"redis", "jedis", true, 88.0}
 
--结果是"true"
print(myArray[3])

3、哈希

如果要使用类似哈希的功能，同样可以使用tables类型。

示例1：

定义了一个tables，每个元素包含了key和value，其中strings1..string2是将两个字符串进行连接。

local tables user_1 = {age = 28, name = "tome"}
--user_1 age is 28
print("user_1 age is " .. user_1["age"])

示例2：

遍历user_1，可以使用Lua的内置函数pairs。

for key,value in pairs(user_1)
    do print(key .. value)
end

4.2.2、控制语句

1、for

关键字for以end作为结束符

示例1：

会计算1到100的和。

local int sum = 0
for i = 1, 100
do
    sum = sum + i
end
-- 输出结果为5050
print(sum)

示例2：

遍历数组myArray。

for i = 1, #myArray
do
    print(myArray[i])
end

示例3：

Lua的内置函数ipairs，使用for index，value ipairs（tables）可以遍历出所有的索引下标和值。

for index,value in ipairs(myArray)
do
    print(index)
    print(value)
end

2、while

while循环同样以end作为结束符。

示例1：

计算1到100的和。

local int sum = 0
local int i = 0
while i <= 100
do
    sum = sum +i
    i = i + 1
end
--输出结果为5050
print(sum)

3、if else

if以end结尾，if后紧跟then。

示例：

数组中是否包含了jedis，有则打印true。

local tables myArray = {"redis", "jedis", true, 88.0}
for i = 1, #myArray
do
    if myArray[i] == "jedis"
    then
        print("true")
        break
    else
        --do nothing
    end
end

4.2.3、函数定义

在Lua中，函数以function开头，以end结尾，funcName是函数名，中间部分是函数体。

function funcName()
    ...
end

示例：

contact函数将两个字符串拼接。

function contact(str1, str2)
    return str1 .. str2
end
 
--"hello world"
print(contact("hello ", "world"))

4.3、Redis与Lua

4.3.1、在Redis中使用Lua

在Redis中执行Lua脚本有两种方法：eval和evalsha。

1、eval

eval的语法格式：

1	`eval` `脚本内容 key个数 key列表参数列表`

示例：

使用了key列表和参数列表来为Lua脚本提供更多的灵活性。

//KEYS[1]="redis"，ARGV[1]="world"，所以最终的返回结果是"hello redisworld"。
127.0.0.1:6379> eval 'return "hello " .. KEYS[1] .. ARGV[1]' 1 redis world
"hello redisworld"

如果Lua脚本较长，还可以使用redis-cli --eval直接执行文件。
eval命令和--eval参数本质是一样的，客户端如果想执行Lua脚本，首先在客户端编写好Lua脚本代码，然后把脚本作为字符串发送给服务端，服务端会将执行结果返回给客户端，整个过程如图3-7所示。

2、evalsha

Redis还可以evalsha命令来执行Lua脚本。

如图3-8所示，首先要将Lua脚本加载到Redis服务端，得到该脚本的SHA1校验和，evalsha命令使用SHA1作为参数可以直接执行对应Lua脚本，避免每次发送Lua脚本的开销。这样客户端就不需要每次执行脚本内容，而脚本也会常驻在服务端，脚本功能得到了复用。

加载脚本：script load命令可以将脚本内容加载到Redis内存中。

//将lua_get.lua加载到Redis中，得到SHA1为："7413dc2440db1fea7c0a0bde841fa68eefaf149c"
]# redis-cli script load "$(cat lua_get.lua)"
"7413dc2440db1fea7c0a0bde841fa68eefaf149c"

执行脚本：evalsha使用SHA1值作为脚本名，执行逻辑和eval一致。

1	`evalsha 脚本SHA1值 key个数 key列表参数列表`

执行lua_get.lua脚本，只需要执行如下操作。

1 2	`10.1.1.11:6379> evalsha 7413dc2440db1fea7c0a0bde841fa68eefaf149c 1 redis world` `"hello redisworld"`

4.3.2、Lua的Redis API

Lua可以使用redis.call函数实现对Redis的访问。redis.call可以调用Redis的set和get操作。

1 2	`redis.call("set",` `"hello",` `"world")` `redis.call("get",` `"hello")`

Lua还可以使用redis.pcall函数实现对Redis的调用，redis.call和redis.pcall的不同之处在于，如果redis.call执行失败，那么脚本执行结束会直接返回错误，而redis.pcall会忽略错误继续执行脚本，所以在实际开发中要根据具体的应用场景进行函数的选择。
Lua可以使用redis.log函数将Lua脚本的日志输出到Redis的日志文件中，但是一定要控制日志级别。
Redis3.2提供了Lua Script Debugger功能用来调试复杂的Lua脚本，具体可以参考：http://redis.io/topics/ldb。

示例：

10.1.1.11:6379> get hello
"world"
 
10.1.1.11:6379> eval 'return redis.call("get", KEYS[1])' 1 hello hello1 hello2
"world"

4.4、Redis如何管理Lua脚本

Redis提供了4个命令实现对Lua脚本的管理。

SCRIPT LOAD <script>                 #将Lua脚本加载到Redis内存中，但不执行它。
SCRIPT EXISTS <sha1> [<sha1> ...]    #用于判断sha1是否已经加载到Redis内存中。返回结果是被加载到Redis内存的个数。
SCRIPT FLUSH                         #用于清除Redis内存已经加载的所有Lua脚本。
SCRIPT KILL                          #用于杀掉正在执行的Lua脚本。如果Lua脚本比较耗时，甚至Lua脚本存在问题，那么此时Lua脚本的执行会阻塞Redis，直到脚本执行完毕或者外部进行干预将其结束。

Redis提供了一个lua-time-limit参数，默认是5秒，它是Lua脚本的“超时时间”，但这个超时时间仅仅是当Lua脚本时间超过lua-time-limit后，向其他命令调用发送BUSY的信号，但是并不会停止掉服务端和客户端的脚本执行，所以当达到lua-time-limit值之后，其他客户端在执行正常的命令时，将会收到“Busy Redis is busy running a script”错误，并且提示使用script kill或者shutdown nosave命令来杀掉这个busy的脚本。
注意，如果当前Lua脚本正在执行写操作，那么script kill将不会生效。
如果Lua脚本正在向Redis执行写命令，要么等待脚本执行结束要么使用shutdown save停掉Redis服务。可见Lua脚本虽然好用，但是使用不当破坏性也是难以想象的。

5、Bitmaps

5.1、数据结构模型

现代计算机用二进制（位）作为信息的基础单位，1个字节等于8位。
例如“big”字符串是由3个字节组成，但实际在计算机存储时将其用二进制表示，“big”分别对应的ASCII码分别是98、105、103，对应的二进制分别是01100010、01101001和01100111，如图3-9所示。

Redis提供Bitmaps这个“数据结构”可以实现对位的操作。把数据结构加上引号主要因为：
- Bitmaps本身不是一种数据结构，实际上它就是字符串（如图3-10所示），但是它可以对字符串的位进行操作。
- Bitmaps单独提供了一套命令，所以在Redis中使用Bitmaps和使用字符串的方法不太相同。可以把Bitmaps想象成一个以位为单位的数组，数组的每个单元只能存储0和1，数组的下标在Bitmaps中叫做偏移量。

5.2、命令

1、设置值

1	`SETBIT key offset value` `#设置键的第offset个位的值（从0算起）`

示例：

假设现在有20个用户，userid=0，5，11，15，19的用户对网站进行了访问，那么当前Bitmaps初始化结果如图3-11所示。

10.1.1.11:6379> setbit unique:users:2022-08-15 0 1
(integer) 0
10.1.1.11:6379> setbit unique:users:2022-08-15 5 1
(integer) 0
10.1.1.11:6379> setbit unique:users:2022-08-15 11 1
(integer) 0
10.1.1.11:6379> setbit unique:users:2022-08-15 15 1
(integer) 0
10.1.1.11:6379> setbit unique:users:2022-08-15 19 1
(integer) 0

2、获取值

1	`GETBIT key offset #获取键的第offset位的值（从0开始算）`

示例：

10.1.1.11:6379> getbit unique:users:2022-08-15 15
(integer) 1
10.1.1.11:6379> getbit unique:users:2022-08-15 16
(integer) 0

3、获取Bitmaps指定范围值为1的个数

1 2	`BITCOUNT key [start end]` `#获取Bitmaps指定范围值为1的个数` `start和end代表起始和结束字节数`

示例：

//前两个字节中1的个数
10.1.1.11:6379> bitcount unique:users:2022-08-15 0 1
(integer) 4

4、Bitmaps间的运算

bitop是一个复合操作，它可以做多个Bitmaps的and（交集）、or（并集）、not（非）、xor（异或）操作并将结果保存在destkey中。

1	`BITOP operation destkey key [key ...]`

5、计算Bitmaps中第一个值为targetBit的偏移量

1 2	`BITPOS key bit [start] [end]` `[start]和[end]，分别代表起始字节和结束字节`

5.3、Bitmaps分析

假设网站有1亿用户，每天独立访问的用户有5千万，如果每天用集合类型和Bitmaps分别存储活跃用户可以得到表3-3。

很明显，这种情况下使用Bitmaps能节省很多的内存空间，尤其是随着时间推移节省的内存还是非常可观的，见表3-4。

但Bitmaps并不是万金油，假如该网站每天的独立访问用户很少，例如只有10万（大量的僵尸用户），那么两者的对比如表3-5所示，很显然，这时候使用Bitmaps就不太合适了，因为基本上大部分位都是0。

6、HyperLogLog

HyperLogLog并不是一种新的数据结构（实际类型为字符串类型），而是一种基数算法。
- 通过HyperLogLog可以利用极小的内存空间完成独立总数的统计，数据集可以是IP、Email、ID等。
- HyperLogLog提供了3个命令：pfadd、pfcount、pfmerge。
HyperLogLog的算法是由Philippe Flajolet（https://en.wikipedia.org/wiki/Philippe_Flajolet）在The analysis of a near-optimal cardinality estimation algorithm这篇论文中提出，读者如果有兴趣可以自行阅读。

HyperLogLog内存占用量非常小，但是存在错误率，开发者在进行数据结构选型时只需要确认如下两条即可：
- 只为了计算独立总数，不需要获取单条数据。
- 可以容忍一定误差率，毕竟HyperLogLog在内存的占用量上有很大的优势。

1、添加

pfadd用于向HyperLogLog添加元素，如果添加成功返回1。

1	`PFADD key element [element ...]`

示例：

1 2	`10.1.1.11:6379> pfadd 2022-08-16:unique:ids` `"uuid-1"` `"uuid-2"` `"uuid-3"` `"uuid-4"` `(integer) 1`

2、计算独立用户数

pfcount用于计算一个或多个HyperLogLog的独立总数。

1	`PFCOUNT key [key ...]`

示例：

10.1.1.11:6379> pfcount 2022-08-16:unique:ids
(integer) 4
 
//添加多个元素，但只有一个不重复的元素
10.1.1.11:6379> pfadd 2022-08-16:unique:ids "uuid-1" "uuid-2" "uuid-3" "uuid-90"
(integer) 1
10.1.1.11:6379> pfcount 2022-08-16:unique:ids
(integer) 5

表3-6列出了使用集合类型和HperLogLog统计百万级用户的占用空间对比。

可以看到，HyperLogLog内存占用量小得惊人，但是用如此小空间来估算如此巨大的数据，必然不是100%的正确，其中一定存在误差率。Redis官方给出的数字是0.81%的失误率。

3、合并

pfmerge可以求出多个HyperLogLog的并集并赋值给destkey。

1	`PFMERGE destkey sourcekey [sourcekey ...]`

示例：

10.1.1.11:6379> pfadd 2022-08-16-1:unique:ids "uuid-1" "uuid-2" "uuid-3" "uuid-4"
(integer) 1
10.1.1.11:6379> pfadd 2022-08-16-2:unique:ids "uuid-4" "uuid-5" "uuid-6" "uuid-7"
(integer) 1
 
10.1.1.11:6379> pfmerge 2022-08-16-3:unique:ids 2022-08-16-1:unique:ids 2022-08-16-2:unique:ids
OK
 
10.1.1.11:6379> pfcount 2022-08-16-3:unique:ids
(integer) 7

7、发布订阅

Redis提供了基于“发布/订阅”模式的消息机制，此种模式下，消息发布者和订阅者不进行直接通信，发布者客户端向指定的频道（channel）发布消息，订阅该频道的每个客户端都可以收到该消息，如图3-16所示。

7.1 命令

Redis主要提供了发布消息、订阅频道、取消订阅以及按照模式订阅和取消订阅等命令。

1、发布消息

1	`PUBLISH channel message`

示例：

//向channel:sports频道发布一条消息“Tim won the championship”，返回结果为订阅者个数，因为此时没有订阅，所以返回结果为0。
10.1.1.11:6379> publish channel:sports "Tim won the championship"
(integer) 0

2、订阅消息

订阅者可以订阅一个或多个频道。

1	`SUBSCRIBE channel [channel ...]`

示例：

//当前客户端订阅channel:sports频道。
10.1.1.11:6379> subscribe channel:sports
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "channel:sports"
3) (integer) 1
 
//此时使用另一个客户端发布一条消息。
10.1.1.11:6379> publish channel:sports "James lost the championship"
(integer) 1
 
//当前订阅者客户端会收到如下消息。
10.1.1.11:6379> subscribe channel:sports
Reading messages... (press Ctrl-C to quit)
...
1) "message"
2) "channel:sports"
3) "James lost the championship"

有关订阅命令有两点需要注意：
- 客户端在执行订阅命令之后进入了订阅状态，只能接收subscribe、psubscribe、unsubscribe、punsubscribe的四个命令。
- 新开启的订阅客户端，无法收到该频道之前的消息，因为Redis不会对发布的消息进行持久化。

3、取消订阅

客户端可以通过unsubscribe命令取消对指定频道的订阅，取消成功后，不会再收到该频道的发布消息。

1	`UNSUBSCRIBE [channel [channel ...]]`

示例：

10.1.1.11:6379> unsubscribe channel:sports
1) "unsubscribe"
2) "channel:sports"
3) (integer) 0

4、按照模式订阅和取消订阅

Redis命令支持glob风格的订阅命令psubscribe和取消订阅命令punsubscribe。

1 2	`PSUBSCRIBE pattern [pattern ...]` `PUNSUBSCRIBE [pattern [pattern ...]]`

示例：

//阅以it开头的所有频道：
10.1.1.11:6379> psubscribe it*
Reading messages... (press Ctrl-C to quit)
1) "psubscribe"
2) "it*"
3) (integer) 1

5、查询订阅

PUBSUB CHANNELS [<pattern>]                #查看活跃的频道(default: all)。活动的频道是指当前频道至少有一个订阅者。
PUBSUB NUMSUB [channel-1 .. channel-N]     #查看指定频道的订阅者数量(excluding patterns, default: none)
PUBSUB NUMPAT [argument [argument ...]]    #查看通过模式匹配订阅消息的订阅者数量

示例：

//查看活跃的频道
10.1.1.11:6379> pubsub channels
1) "channel:sports"
//查看指定频道的订阅者数量
10.1.1.11:6379> pubsub numsub channel:sports
1) "channel:sports"
2) (integer) 1
//查看通过模式匹配订阅消息的订阅者数量
10.1.1.11:6379> pubsub numpat
(integer) 1

7.2、使用场景

聊天室、公告牌、服务之间利用消息解耦都可以使用发布订阅模式，下面以简单的服务解耦进行说明。如图3-18所示，图中有两套业务，上面为视频管理系统，负责管理视频信息；下面为视频服务面向客户，用户可以通过各种客户端（手机、浏览器、接口）获取到视频信息。

假如视频管理员在视频管理系统中对视频信息进行了变更，希望及时通知给视频服务端，就可以采用发布订阅的模式，发布视频信息变化的消息到指定频道，视频服务订阅这个频道及时更新视频信息，通过这种方式可以有效解决两个业务的耦合性。

//视频服务订阅video：changes频道
subscribe video:changes
//视频管理系统发布消息到video：changes频道
publish video:changes "video1,video3,video5"
//当视频服务收到消息，对视频信息进行更新
for video in video1,video3,video5
    update {video}

8、GEO

Redis3.2版本提供了GEO（地理信息定位）功能，支持存储地理位置信息用来实现诸如附近位置、摇一摇这类依赖于地理位置信息的功能，对于需要实现这些功能的开发者来说是一大福音。GEO功能是Redis的另一位作者Matt Stancliff借鉴NoSQL数据库Ardb实现的，Ardb的作者来自中国，它提供了优秀的GEO功能。

表3-7展示5个城市的经纬度。

1、增加地理位置信息

1 2	`GEOADD key longitude latitude member [longitude latitude member ...]` `longitude、latitude、member分别是该地理位置的经度、纬度、成员`

如果需要更新地理位置信息，仍然可以使用geoadd命令，虽然返回结果为0。

示例：

//将北京的地理位置信息添加到地理位置信息的集合cities:locations，返回结果代表添加成功的个数
10.1.1.11:6379> geoadd cities:locations 116.28 39.55 beijing
(integer) 1
 
//同时添加多个地理位置信息
10.1.1.11:6379> geoadd cities:locations 117.12 39.08 tianjin 114.29 38.02 shijiazhuang 118.01 39.38 tangshan 115.29 38.51 baoding
(integer) 4

2、获取地理位置信息

1	`GEOPOS key member [member ...]`

示例：

//获取天津的经维度
10.1.1.11:6379> geopos cities:locations tianjin
1) 1) "117.12000042200088501"
   2) "39.0800000535766543"

3、获取两个地理位置的距离

GEODIST key member1 member2 [m|km|ft|mi]
    m（meters）代表米。
    km（kilometers）代表公里。
    ft（feet）代表尺。
    mi（miles）代表英里。

示例：

//计算天津到北京的距离，并以公里为单位：
10.1.1.11:6379> geodist cities:locations tianjin beijing km
"89.2061"

4、获取指定位置范围内的地理信息位置集合

georadius和georadiusbymember两个命令的作用是一样的，都是以一个地理位置为中心算出指定半径内的其他地理信息位置，不同的是georadius命令的中心位置给出了具体的经纬度，georadiusbymember只需给出成员即可。

GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count] [ASC|DESC] [STORE key] [STOREDIST key]
GEORADIUSBYMEMBER key member radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count] [ASC|DESC] [STORE key] [STOREDIST key]
    radiusm|km|ft|mi是必需参数，指定了半径（带单位）
    withcoord：返回结果中包含经纬度。
    withdist：返回结果中包含离中心节点位置的距离。
    withhash：返回结果中包含geohash，有关geohash后面介绍。
    COUNT count：指定返回结果的数量。
    asc|desc：返回结果按照离中心节点的距离做升序或者降序。
    store key：将返回结果的地理位置信息保存到指定键。
    storedist key：将返回结果离中心节点的距离保存到指定键。

示例：

//计算五座城市中，距离北京150公里以内的城市：
10.1.1.11:6379> georadiusbymember cities:locations beijing 150 km
1) "beijing"
2) "tianjin"
3) "tangshan"
4) "baoding"

5、获取geohash

Redis使用geohash将二维经纬度转换为一维字符串。

1	`GEOHASH key member [member ...]`

geohash有如下特点：
- GEO的数据类型为zset，Redis将所有地理位置信息的geohash存放在zset中。
- 字符串越长，表示的位置更精确，表3-8给出了字符串长度对应的精度。
- 两个字符串越相似，它们之间的距离越近，Redis利用字符串前缀匹配算法实现相关的命令。
- geohash编码和经纬度是可以相互转换的。

示例：

10.1.1.11:6379> geohash cities:locations beijing
1) "wx48ypbe2q0"
10.1.1.11:6379> type cities:locations
zset

6、删除地理位置信息

GEO没有提供删除成员的命令，但是因为GEO的底层实现是zset，所以可以借用zrem命令实现对地理位置信息的删除。

1	`ZREM key member [member ...]`

posted @ 2022-08-12 17:27 麦恒阅读(51) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· Redis01-初识Redis

· Redis05-客户端

· 2、Redis高级特性和应用(慢查询、Pipeline、事务、Lua)

· Redis中使用Lua脚本

· [Redis]原子性

麦恒

Redis04-小功能大用处

1、慢查询分析

1.1、慢查询的两个配置参数

1.2、查看和管理慢查询日志

1.3、最佳实践

2、Redis Shell

2.1、redis-cli详解

2.2、redis-server详解

2.3、redis-benchmark详解

3、Pipeline

3.1、Pipeline概念

3.2、性能测试

3.3、原生批量命令与Pipeline对比

3.4、最佳实践

4、事务与Lua

4.1、事务

4.1.1、事务的基本使用

4.1.2、事务中出现错误

1、命令错误

2、运行时错误

3、事务中watch命令

4.2、Lua用法简述

4.2.1、数据类型

1、字符串

2、数组

3、哈希

4.2.2、控制语句

1、for

2、while

3、if else

4.2.3、函数定义

4.3、Redis与Lua

4.3.1、在Redis中使用Lua

1、eval

2、evalsha

4.3.2、Lua的Redis API

4.4、Redis如何管理Lua脚本

5、Bitmaps

5.1、数据结构模型

5.2、命令

1、设置值

2、获取值

3、获取Bitmaps指定范围值为1的个数

4、Bitmaps间的运算

5、计算Bitmaps中第一个值为targetBit的偏移量

5.3、Bitmaps分析

6、HyperLogLog

1、添加

2、计算独立用户数

3、合并

7、发布订阅

7.1 命令

1、发布消息

2、订阅消息

3、取消订阅

4、按照模式订阅和取消订阅

5、查询订阅

7.2、使用场景

8、GEO

1、增加地理位置信息

2、获取地理位置信息

3、获取两个地理位置的距离

4、获取指定位置范围内的地理信息位置集合

5、获取geohash

6、删除地理位置信息

公告

搜索

常用链接

随笔分类 (207)

随笔档案 (209)

阅读排行榜

评论排行榜

推荐排行榜

最新评论

目录导航