Redis基础入门

一、安装

1、下载redis-6.2.1.tar.gz放到opt/目录

2、解压命令：tar -zxvf redis-6.2.1.tar.gz

3、解压后进入目录：cd redis-6.2.1

4、编译安装：make && make install

安装的默认目录是/usr/local/bin,我们可以查看下里面的文件。

redis-benchmark:性能测试工具

redis-check-aof:修复有问题的AOF文件

redis-check-dump:修复有问题的dump.rdb文件

redis-sentinel:Redis集群使用（哨兵）

redis-server:Redis服务器启动命令

redis-cli:客户端，操作入口

二、启动

1、前台启动

前台启动直接运行redis-server命令进行启动。命令行窗口不能关闭，否则服务器停止。一般不推荐使用。

2、后台启动

1）、拷贝一份redis.conf文件到其他目录

cp /opt/redis-6.2.1/redis.conf myredis/

2)、修改配置文件，将daemonize no改为yes,意思是让服务在后台启动。

3)、运行redis-server redis.conf启动(注意此时所在位置在myredis/目录下),我们可以通过ps -er|grep redis命令查看是否启动成功。

4)、用客户端进行访问：redis-cli,输入ping返回PONG则证明连接成功，同时也支持指定端口访问，redis-cli -p 6379

5)、Redis关闭我们可以使用redis-cli shutdown来进行关闭，也可以在终端运行shutdown来进行关闭。若有多个实例，则需要指定端口关闭,redis-cli -p 6379 shutdown

三、Redis介绍相关知识

Redis是单线程+多路IO复用技术，多路复用是指使用一个线程来检查多个文件描述符（Socket）的就绪状态，比如调用select和poll函数，传入多个文件描述符，如果有一个文件描述符就绪，则返回，否则阻塞直到超时，得到就绪状态后进行真正的操作可以在同一个线程里执行，也可以启动线程执行（比如使用线程池）。

• 与Memcache区别：
  • Memcache只支持字符串，Redis支持更多的数据类型
  • Memcache是多线程+锁的方式，Redis是单线程+多路IO复用
  • Memcache会把数据全部存到内存中，断电后数据会丢失，Redis可以持久化数据。

Redis常见的操作命令：

#Redis默认16个数据库，类似数组下标从0开始，初始默认使用0号库
select dbid  # 切换数据库， 如 select 8

dbsize # 查看当前数据库key的数量

keys * # 查看当前库所有key

exists key # 判断某个key是否存在

type key # 查看key的值是什么类型

del key   # 删除指定key的数据

expire key 10 # 给指定的key设置过期时间，10秒

ttl key # 查看指定key还有多久过期，-1表示用不过期，-2表示已近过期

flushdb  # 清空当前库

flushall  #  通杀全部库

四、常见五大数据类型

1、String

String是Redis最基本的类型，一个key对应一个value,String是二进制安全的，意味着Redis的string可以包含任意数据，比如jpg图片或者序列化的对象。value最大为512M。

1）、常见命令

# 添加键值对
set <key> <value>ty [EX seconds|PX milliseconds|EXAT timestamp|PAXT milliseconds-timestamp|KEEPTTL][NX|XX] 

* NX:当数据库中key不存在时，可以将key-value添加到数据库
* XX:当数据库中key存在时，可以将key-value添加到数据库（更新）
* EX:Key的超时秒数
* PX:Key的超时毫秒数

# 查询对应键值
get <key>

# 将给定的value添加到原值的末尾
append <key> <value>

# 获取key对应值的长度
strlen <key>

# 只有key不存在时，设置key的值
setnx <key> <value>

# 将key中存储的数字值增1（只能对数字操作）
incr <key>

# 将key中存储的数字值减一
decr <key>

# 将key对应的数字值增减，自定义步长
incrby / decrby <key> <步长>

# 设置一个或多个key-value
mset key value [key value ...]

# 获取一个或多个value
mget key value [key value ...]

# 设置一个或多个key-value,当且仅当给定key不存在
msetnx key value [key value ...]

# 设置键的同时，设置过期时间，单位秒
setex key seconds value

# 以旧换新，设置了新值，同时获取旧值
getset key value

2)、数据结构

String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串，内部结构实现上类似于Go的Slice，采用预分配冗余空间的方式来减少内存的频繁分配。

如图中所示，内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。

2、List

Redis列表是简单的字符串列表，按照插入顺序排序，可以添加一个元素到列表的头部（左边）或者尾部（右边），它的底层其实是个双向链表，对双端的操作性能很高，通过索引下标的操作中间节点性能会较差。

1)、常见命令

# 从左边或右边插入一个或多个值
lpush/rpush <key> <value1> <value2> ...

# 从左边或者右边吐出一个值，值在健在，值光键亡
lpop/rpop <key>

# 按照索引下标获取元素(0表示左边第一个，-1表示右边第一个)
lrange <key> <start> <stop>  

# 按照索引下标获得元素（从左到右）
lindex <key> <index>

# 获得列表长度
llen <key>

# 从key1列表右边吐出一个值，插入到<key2>列表左边
rpoplpush <key1> <key2>

# 在<value>前/后面插入<newvalue>
linsert <key> before|after <value> <newvalue>

# 从左边删除n个value
lrem <key> <n> <value>

# 将index对应的值替换成value
lset <key> <index> <value>

2)、数据结构

List的数据结构为快速链表quickList。

首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，也即是压缩列表。它将所有的元素紧挨着一起存储，分配的是一块连续的内存。当数据量比较多的时候才会改成quicklist。因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如列表里存的只是int类型的数据，结构上还需要两个额外的指针prev和next。Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

3、Set

Set对外提供的功能与List类似，是一个列表的功能，特殊之处是Set是可以自动去重的，当需要存储一个列表数据，又不希望出现重复数据时，Set是一个很好的选择，并且Set提供了判断某个成员是否在一个Set集合内的重要接口，这个是List所不能提供的。

1)、常用命令

# 将一个或多个member元素加入到集合key中，已经存在的member会被忽略
sadd key member [member ...]

# 取出集合key中的所有元素
smembers key

# 判断集合key中是否包含value,有1，没有0
sismember key value

# 返回集合key元素的个数
scard key

# 删除集合中的元素（一个或多个）
srem key member [member ...]

# 随机从集合中弹出一个元素
spop key 

# 随机从集合中取出n个值（不会从集合中删除）
srandmember key [count]

# 把集合中的某个值移动到另外一个集合
smove source destination member

# 返回多个集合的交集元素
sinter key [key ...]

# 返回多个集合的并集元素
sunion key [key ...]

# 返回多个集合差集元素
sdiff key [key ...]

2)、数据结构

Set数据结构是用哈希表实现的。添加，删除，查找的复杂度都是O(1)。

4、Hash

Hash是一个string类型的field和value的映射表，hash特别适用于存储对象，类似于Go中的map,Python中的dict。

1)、常见命令

# 给key设置field和值
hset key field value [field value ...]
hset a1 name Negan age 18

# 取出key中field对应的值
hget key filed

# 批量给key设置field和值（和hset功能一样）
hmset key field value [field value ...]

# 查看key中field是否存在
hexists key field

# 列出所有的field
hkeys key

# 列出所有value
hvals key

# 给field对应的值增量
hincrby key field increment

# 当且仅当field不存在时，设置value
hsetnx key field value

2)、数据结构

Hash类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。

5、Zset

有序集合zset与普通集合set非常相似，是一个没有重复元素的字符串集合。不同之处是有序集合的每个成员都关联了一个评分（score）,这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复了 。因为元素是有序的, 所以你也可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。

1)、常用命令

# 将一个或多个member及其score加入有序集合key中
zadd key [NX|XX] score member [score member]

# 返回有序集合key中下标min和max之间的元素，带WITHSCORES可以让分数和值一起返回
zrange key min max [WITHSCORES]

#返回有序集key中，所有score值介于min和max之间(包括等于min或max)的成员。有序集成员按score值递增(从小到大)次序排列。 
zrangebyscore key minmax [withscores] [limit offset count]

# 同上，从大到小次序返回
zrevrangebyscore key maxmin [withscores] [limit offset count]   
# 为元素的score加上增量
zincrby key increment member

# 删除指定元素
zrem key member [member ...]

# 统计分数区间内元素个数
zcount key min max

# 返回元素在集合中的排名，从0开始
zrank key member

# 案例：利用zset实现一个文章访问量排行榜
zadd top 100 v1 200 v2 300 v3 400 v4 
zrevrange top 0 9

2)、数据结构

zset底层使用了两个数据结构

（1）hash，hash的作用就是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。

（2）跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。

跳跃表

有序集合在生活中比较常见，例如根据成绩对学生排名，根据得分对玩家排名等。对于有序集合的底层实现，可以用数组、平衡树、链表等。数组不便元素的插入、删除；平衡树或红黑树虽然效率高但结构复杂；链表查询需要遍历所有效率低。Redis采用的是跳跃表。跳跃表效率堪比红黑树，实现远比红黑树简单。

对比有序链表和跳跃表，从链表中查询出51

（1） 有序链表

要查找值为51的元素，需要从第一个元素开始依次查找、比较才能找到。共需要6次比较。

（2） 跳跃表

从第2层开始，1节点比51节点小，向后比较。

21节点比51节点小，继续向后比较，后面就是NULL了，所以从21节点向下到第1层。

在第1层，41节点比51节点小，继续向后，61节点比51节点大，所以从41向下。

在第0层，51节点为要查找的节点，节点被找到，共查找4次。

从此可以看出跳跃表比有序链表效率要高。

五、Redis新数据类型

1、Bitmap

现代计算机用二进制（位） 作为信息的基础单位,1个字节等于8位，例如“abc”字符串是由3个字节组成，但实际在计算机存储时将其用二进制表示， “abc”分别对应的ASCII码分别是97、 98、 99， 对应的二进制分别是01100001、 01100010和01100011，如下图 :

Redis提供了Bitmaps这个“数据类型”可以实现对位的操作：

• Bitmaps本身不是一种数据类型， 实际上它就是字符串（key-value),但是它可以对字符串的位进行操作。
• Bitmaps单独提供了一套命令，所以在Redis中使用Bitmaps和使用字符串的方法不太相同。 可以把Bitmaps想象成一个以位为单位的数组， 数组的每个单元只能存储0和1， 数组的下标在Bitmaps中叫做偏移量。
  

1)、常用命令

• 设置Bitmaps中某个偏移量的值（0或1）

# 命令
setbit key offset value

实例：每个独立用户是否访问过网站存放在Bitmaps中， 将访问的用户记做1， 没有访问的用户记做0， 用偏移量作为用户的id。

设置键的第offset个位的值（从0算起),假设现在有20个用户，userid=1，6，11，15，19的用户对网站进行了访问，那么当前Bitmaps初始结果如图：

127.0.0.1:6379> setbit unique:users:20210428 1 1
(integer) 0
127.0.0.1:6379> setbit unique:users:20210428 6 1
(integer) 0
127.0.0.1:6379> setbit unique:users:20210428 11 1
(integer) 0
127.0.0.1:6379> setbit unique:users:20210428 15 1
(integer) 0
127.0.0.1:6379> setbit unique:users:20210428 19 1
(integer) 0

注意：很多应用的用户id以一个指定数字（例如10000）开头，直接将用户id以及Bitmaps的偏移量对应势必会造成一定的浪费，通常做法是每次做setbit操作时，将用户id减去这个指定数字。

在第一次初始化Bitmaps时，加入偏移量非常大，那么整个初始化过程执行会比较慢，可能会造成Redis阻塞。

• 获取Btimaps某个偏移量的值

getbit key offset

实例：获取id=9的用户是否在2020-04-28这天访问过，返回0说明没有访问过。

127.0.0.1:6379> getbit unique:users:20210428 9 
(integer) 0
127.0.0.1:6379> getbit unique:users:20210428 19 
(integer) 1

• 统计字符串被设置成1的bit数

bitcount key [start end]  
# 统计从start字节到end字节比特值为1的数量，两者均可为负值

实例：计算2021-04-28这天的独立访问用户数量

127.0.0.1:6379> bitcount unique:users:20210428
(integer) 5
127.0.0.1:6379> bitcount unique:users:20210428 1 3
(integer) 3
# 用户id在第1个字节到第3个字节之间的独立访问用户数， 对应的用户id是11， 15， 19。

• 做多个Bitmaps的交集(and)，并集(or)，非(not)，异或(xor)操作，并将结果保存在destkey中

bit operation destkey key [key ...]

实例：

2021-04-27访问网站的userid=1,2,5,9

2021-04-28访问网站的userid=0,1,4,9

计算出两天都访问过网站的用户

127.0.0.1:6379> setbit user:20210428 0 1
(integer) 0
127.0.0.1:6379> setbit user:20210428 1 1
(integer) 0
127.0.0.1:6379> setbit user:20210428 4 1
(integer) 0
127.0.0.1:6379> setbit user:20210428 9 1

127.0.0.1:6379> setbit user:20210427 1 1
(integer) 0
127.0.0.1:6379> setbit user:20210427 2 1
(integer) 0
127.0.0.1:6379> setbit user:20210427 5 1
(integer) 0
127.0.0.1:6379> setbit user:20210427 9 1

#计算两天都访问过网站的
127.0.0.1:6379> bitop and user user:20210427 user:20210428
(integer) 2
127.0.0.1:6379> bitcount user
(integer) 2

2)、Bitmaps与Set对比

假设网站有1亿用户， 每天独立访问的用户有5千万， 如果每天用集合类型和Bitmaps分别存储活跃用户可以得到表 。

数据类型	每个用户id占用空间	需要存储的用户量	全部内存量
Set	64位	50000000	64B * 50000000 = 400MB
Bitmaps	1位	100000000	1B*10000000=12.5MB

很明显， 这种情况下使用Bitmaps能节省很多的内存空间， 尤其是随着时间推移节省的内存还是非常可观的 。

但Bitmaps并不是万金油， 假如该网站每天的独立访问用户很少， 例如只有10万（大量的僵尸用户） ， 那么两者的对比如下表所示， 很显然， 这时候使用Bitmaps就不太合适了， 因为基本上大部分位都是0。

数据类型	每个用户id占用空间	需要存储的用户量	全部内存量
Set	64位	100000	64B * 100000 = 800KB
Bitmaps	1位	100000000	1B*10000000=12.5MB

2、HyperLogLog

在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站PV（PageView页面访问量）,可以使用Redis的incr、incrby轻松实现。

但像UV（UniqueVisitor，独立访客）、独立IP数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。

解决基数问题有很多种方案：

（1）数据存储在MySQL表中，使用distinct count计算不重复个数

（2）使用Redis提供的hash、set、bitmaps等数据结构来处理

以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。

能否能够降低一定的精度来平衡存储空间？Redis推出了HyperLogLog

Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。

在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。

但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

什么是基数?

比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。

1)、常见命令

• 添加指定元素到HyperLogLog中

pfadd key element [element ...]

实例：

127.0.0.1:6379> pfadd hl redis mysql redis
(integer) 1
127.0.0.1:6379> pfadd hl golang
(integer) 1
127.0.0.1:6379> pfadd hl python
(integer) 1
127.0.0.1:6379> pfadd hl python
(integer) 0

# 所有元素添加到指定HyperLogLog数据结构中。如果执行命令后,hl估计的近似基数发生变化，则返回1，否则返回0。

• 计算近似基数

pfcount key [key ...]

实例：

127.0.0.1:6379> pfadd hll golang
(integer) 1
127.0.0.1:6379> pfadd hll redis
(integer) 1

127.0.0.1:6379> pfcount hl 
(integer) 4
127.0.0.1:6379> pfcount hl hll
(integer) 4

• 合并

pfmerge destkey sourcekey [sourcekey ...]

3、Geospatial

Redis 3.2 中增加了对GEO类型的支持。GEO，Geographic，地理信息的缩写。该类型，就是元素的2维坐标，在地图上就是经纬度。redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。

1)、常见命令

• 添加

geoadd key [NX|XX] longitude latitude member [l ...itude latitude member ...]

实例

127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai
(integer) 1
127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqing 14.05 22.52 shenzhen 116.38 39.90 beijing
(integer) 3

有效的经度从 -180 度到 180 度。有效的纬度从 -85.05112878 度到 85.05112878 度。

当坐标位置超出指定范围时，该命令将会返回一个错误。

• 获取指定指定地区的坐标值

geopos key member [member ...]

geopos china:city shanghai beijing 
1) 1) "121.47000163793563843"
   2) "31.22999903975783553"
2) 1) "116.38000041246414185"
   2) "39.90000009167092543"

• 获取两个位置之间的直线距离

geodist key member1 member2 [m|km|ft|mi]

# m 表示单位为米,默认值
# km 表示单位为千米
# ft 表示单位为英里
# mi 表示单位为英尺

geodist china:city beijing shanghai
"1068153.5181"

六、Redis的发布订阅

1、什么是发布和订阅

Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息。

Redis 客户端可以订阅任意数量的频道。

2、Redis的发布和订阅

• Redis可以订阅频道
  

• 当给这个频道发布消息后，订阅的客户端就会收到消息

  ​

# 1、打开一个客户单订阅channel1
subscribe channel1

Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "channel1"
3) (integer) 1

# 2、打开另外一个客户端，给channel1发送消息
publish channel1 hello
(integer) 1

# 3、切换回第一个客户端，发现已经收到消息
1) "message"
2) "channel1"
3) "hello"

# 注意：发布的消息没有持久化，所以订阅的客户端只能接收到订阅后的消息