02-Redis系列之-架构和高级API的使用

通用部分

通用命令

# 1-keys 
# 打印出所有key
keys * 
# 打印出所有以n开头的key
keys n*
# 打印出所有以nam开头，第四个字母是a到z的范围
keys nam[a-z]
# 四位长度，以n开头，?表示任意一位，*表示0或多位
keys nam?
keys name*
# keys命令一般不在生产环境中使用(性能差)，生产环境key很多，时间复杂度为o(n)，常用scan命令

# 2-dbsize   计算key的总数
dbsize  # redis内置了计数器，插入删除值该计数器会更改，所以可以在生产环境使用，时间复杂度是o(1)
# 3-exists key 时间复杂度o(1)
# 查看name是否存在(存在返回1 不存在返回0)
exists name
# 4-del key  时间复杂度o(1)
删除成功返回1，key不存在返回0
# 5-expire key seconds  时间复杂度o(1)
expire name 10	  # 3s 过期
ttl name  # 查看name还有多长时间过期（-1表示已经过期或未设置过期时间）
persist name  # 去掉name的过期时间
# 6-type key  时间复杂度o(1)
type name  # 查看name类型，返回string

其他

info  # 内存，cpu，主从相关
client list  # 正在连接的会话 (redis-cli -a root123456 client list)
client kill ip:端口 
flushall  # 清空所有
flushdb  # 只清空当前库
select 数字  # 选择某个库，总共16个库(0-15)
monitor  # 记录操作日志，夯住（日志审计）

数据结构和内部编码

Redis单线程架构

单线程架构

一个瞬间只会执行一条命令

redis为什么这么快

• 纯内存
• 使用IO多路复用模型，非阻塞IO（epoll），自身实现了事件处理，不在网络io上浪费过多时间
• 避免线程间切换和竞态消耗（单线程，网络请求模块使用一个线程来处理，即一个线程处理所有网络请求，其他模块仍用了多个线程。6.0以后是多线程）

redis为什么不支持windows

因为轮询机制的不同

windows上的redis是第三方做出来的，redis官网不支持windows版本

windows使用的轮询是select，linux使用的epoll
因为性能原因，redis官方选择了linux的epoll去做

注意

• 一次只运行一条命令

• 拒绝长慢命令

  • keys，flushall,flushdb,慢的lua脚本，mutil/exec，operate，big value

• 其实不是单线程（在做持久化是另外的线程）

  • fysnc file descriptor

  • close file descriptor

字符串类型

字符串键值结构

key          value
hello        world      # 可以很复杂，如json格式字符串
counter      1          # 数字类型
bits         10101010   # 二进制（位图）
# 字符串value不能大于512m，一般建议100k以内
# 用于缓存，计数器，分布式锁...

字符串常用命令

# 1---基本使用get，set，del
get age      # 时间复杂度 o(1)
set age 22   # 时间复杂度 o(1)
del age      # 时间复杂度 o(1)
# 2---其他使用incr,decr,incrby,decrby
incr age  #对age这个key的value值自增1
decr age  #对age这个key的value值自减1
incrby age 10  #对age这个key的value值增加10
decrby age 10  #对age这个key的value值减10
# 应用场景
"""
# 统计网站访问量（单线程无竞争，天然适合做计数器）
# 缓存mysql的信息（json格式）
# 分布式id生成（多个机器同时并发着生成，不会重复）
"""
# 3---set，setnx，setxx
set name python  #不管key是否存在，都设置 
setnx name python #key不存在时才设置（新增操作）
set name python nx #同上
set name python2 xx #key存在，才设置（更新操作）
# 4---mget mset
mget key1 key2 key3     #批量获取key1，key2.。。时间复杂度o(n)
mset key1 value1 key2 value2 key3 value3    #批量设置时间复杂度o(n)
    mset hobby ball sex 1
    mget hobby sex
# n次get和mget的区别
	-n次get时间=n次命令时间+n次网络时间
	-mget时间=1次网络时间+n次命令时间
    -管道是一次执行
# 5---其他：getset，append，strlen
getset name redis #设置新值并返回旧值 时间复杂度o(1)
append name 666 #将value追加到旧的value 时间复杂度o(1)
strlen name  #计算字符串长度(注意中文)  时间复杂度o(1)
# 6---其他：incrybyfloat,getrange,setrange
increbyfloat age 3.5  #为age自增3.5，传负值表示自减 时间复杂度o(1)
getrange key start end #获取字符串制定下标所有的值  时间复杂度o(1)
setrange key index value #从指定index开始设置value值(会覆盖后面的值)  时间复杂度o(1)

哈希类型

哈希值结构

哈希重要api

# 1---hget,hset,hdel（时间复杂度是o(1)）
hget key field  #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value  #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field  #删除hash key对应的field的值 时间复杂度为 o(1)
    hset userinfo name hkw age 22 hobby ball
    hget userinfo name

# 2---hexists,hlen（时间复杂度是o(1)）
hexists key field  #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key   #获取hash key field的数量  时间复杂度为 o(1)
    hexists userinfo name
    hlen userinfo

# 3---hmget，hmset（时间复杂度是o(n)）
hmget key field1 field2 ...fieldN  #批量获取hash key 的一批field对应的值  时间复杂度是o(n)
hmset key field1 value1 field2 value2  #批量设置hash key的一批field value 时间复杂度是o(n)
	hmset userinfo2 name root age 99 hobby girl
    hmget userinfo2 name age

# 4---hgetall,hvals，hkeys（时间复杂度是o(n)）---尽量不要使用hgetall（容易夯住）
hgetall key  #返回hash key 对应的所有field和value  时间复杂度是o(n)
hvals key   #返回hash key 对应的所有field的value  时间复杂度是o(n)
hkeys key   #返回hash key对应的所有field  时间复杂度是o(n)

其他操作

# 其他操作 hsetnx，hincrby，hincrbyfloat
hsetnx key field value  # 设置hash key对应field的value（如果field已存在，则失败），时间复杂度o(1)
hincrby key field intCounter  # hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key field floatCounter  # hincrby 浮点数 时间复杂度o(1)

# hincrby场景：计算网站每个用户主页的访问量
hincrby webinfo userinfo 3
hget webinfo userinfo

hash vs string

相似的api

get	hget
set /sentnx	hset hsetnx
del	hdel
incr incrby dear decrby	hincrby
mset	hmset
mget	hmget

缓存三种方案

直接json格式字符串

每个字段一个key

使用hash操作

列表类型

列表特点

有序队列，可以从左侧添加，右侧添加，可以重复，可以从左右两边弹出

API操作

插入操作

# rpush 从右侧插入
rpush key value1 value2 ...valueN  #时间复杂度为o(1~n)
# lpush 从左侧插入
# linsert
linsert key before|after value newValue
# 从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表，插入失败返回(integer) -1

删除操作

lpop key  # 从列表左侧弹出一个item 时间复杂度o(1)
rpop key  # 从列表右侧弹出一个item 时间复杂度o(1)

# lrem
lrem key count value
# 根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右，删除最多count个value相等的项
2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem key 0 a  # 删除列表中所有值a
lrem key -1 a  # 从右侧删除1个a

# ltrim
ltrim key start end  # 按照索引范围修剪列表 o(n)，只保留下表区间内的元素

查询操作

lrange key start end  # 包含end获取列表指定索引范围所有item  o(n)
lrange key 0 -1  # 获取全部

lindex key index  # 获取列表指定索引的item  o(n)

llen key  # 获取列表长度

修改操作

lset key index newValue  # 设置列表指定索引值为newValue o(n)

实战应用

实现timeLine功能，时间轴，微博关注的人，按时间轴排列，在列表中放入关注人的微博的即可

其他操作

blpop key timeout  # lpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
brpop key timeout  # rpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)

# 要实现栈的功能
lpush+lpop
# 实现队列功能
lpush+rpop
# 固定大小的列表
lpush+ltrim
# 消息队列
lpush+brpop

集合类型

特点

无序，无重复，集合间操作（交叉并补）

API操作

sadd key element  # 向集合key添加element（如果element存在，添加失败） o(1)

scard key  # 计算集合大小

srem key element  # 把集合中的element移除掉 o(1)
srandmember key count  # 从集合中随机取出count个元素，不会破坏集合中的元素
spop key  # 从集合中随机弹出一个元素

smembers key  # 获取集合中所有元素，无序，小心使用，会阻塞住

sismember key element  # 判断element是否在集合中，返回1或0

sdiff user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的交集
sunion user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的并集
sdiff|sinter|suion + store destkey...  # 将差集，交集，并集结果保存在destkey集合中
	- suionstore destkey setkey1 setkey2

实战应用

抽奖系统 ：通过spop来弹出用户的id，活动取消，直接删除

点赞，点踩，喜欢等，用户如果点了赞，就把用户id放到该条记录的集合中

标签：给用户/文章等添加标签，sadd user:1:tags 标签1 标签2 标签3

给标签添加用户，关注该标签的人有哪些

共同好友：集合间的操作

总结

sadd:可以做标签相关

spop/srandmember:可以做随机数相关

sadd/sinter：社交相关

有序集合类型

特点

# 有一个分值字段，来保证顺序
key                  score                value
user:ranking           1                   hkw
user:ranking           99                  hkw2
user:ranking           88                  hkw3
# 比较
# 1.集合有序集合
集合：无重复元素，无序，element
有序集合：无重复元素，有序，element+score
# 2.列表和有序集合
列表：可以重复，有序，element
有序集合：无重复元素，有序，element+score

API使用

zadd key score element  # score可以重复，可以多个同时添加，element不能重复 o(logN) 

zcard key  # 返回元素总个数 o(1)
zscore key element  # 获取元素的分数 o(1)
zrange player:rank 0 -1 withscores  # 返回排名，带分数
zincrby key increScore element  # 增加或减少元素的分数  o(1)
zrank key element  # 返回element元素的排名（从小到大的排名）
zrange key 0 -1  # 返回排名，不带分数  o(log(n)+m) n是元素个数，m是要获取的值

zrangebyscore key minScore maxScore  # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore key 90 120 withscores  # 获取90分到120分的元素和分数(上条是只返回元素)
zcount key minScore maxScore  # 返回有序集合内在指定分数范围内的个数 o(log(n)+m)

zrem key element  # 删除元素，可以多个同时删除 o(1)
zremrangebyrank key start end  # 删除指定排名内的升序元素 o(log(n)+m)
zremrangebyscore key minScore maxScore  # 删除指定分数内的升序元素 o(log(n)+m)

实战

排行榜：音乐排行榜，销售榜，关注榜，游戏排行榜

其他操作

zrevrank  # 从高到低排序
zrevrange  # 从高到低排序取一定范围
zrevrangebyscore  # 返回指定分数范围内的降序元素
zinterstore  # 对两个有序集合求交集
zunionstore  # 对两个有序集合求并集

总结

操作类型	命令
基本操作	zadd/ zrem/ zcard/ zincrby/ zscore
范围操作	zrange/ zrangebyscore/ zcount/ zremrangebyrank
集合操作	zunionstore/ zinterstore

高级api使用

下一部分有详细的介绍

慢查询

假设redis性能不高了，如何去排除？

pipline和watch

# pipline 命令中不支持，各个语言的客户端支持
# watch实现乐观锁

位图 （本质就是字符串）

Bitmaps 并不是实际的数据类型，而是定义在String类型上的一个面向字节操作的集合。因为字符串是二进制安全的块，他们的最大长度是512M，最适合设置成2^32个不同字节。

Bitmaps 的最大优势之一在存储信息时极其节约空间。

HyperLogLog

pfadd urls www.baidu.com  # 添加指定元素到 HyperLogLog 中。
pfadd urls www.baidu.com  # 不可重复放相同值
pfcount urls  # 返回给定 HyperLogLog 的基数估算值。

布隆过滤器（有误差）

geo

• geoadd：添加地理位置的坐标。
• geopos：获取地理位置的坐标。
• geodist：计算两个位置之间的距离。
• georadius：根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。
  • m ：米，默认单位。
  • km ：千米。
  • mi ：英里。
  • ft ：英尺。
  • WITHDIST: 在返回位置元素的同时， 将位置元素与中心之间的距离也一并返回。
  • WITHCOORD: 将位置元素的经度和纬度也一并返回。
  • WITHHASH: 以 52 位有符号整数的形式， 返回位置元素经过原始 geohash 编码的有序集合分值。 这个选项主要用于底层应用或者调试， 实际中的作用并不大。
  • COUNT 限定返回的记录数。
  • ASC: 查找结果根据距离从近到远排序。
  • DESC: 查找结果根据从远到近排序。
• georadiusbymember：根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。
• geohash：返回一个或多个位置对象的 geohash 值。

# 移动端有定位，往后台传，就是经纬度
geoadd cities:locations 116.28 39.55 beijing
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding
# 获取北京的地理位置坐标(可以同时获取多个)
geopos cities:locations beijing
geopos cities:locations beijing tianjin
# 计算北京到唐山的直线距离
geodist cities:locations beijing tianjin km
# 计算北京周五150千米内的城市
georadiusbymember cities:locations beijing 150 km
# 根据经纬度坐标获取200km内的地理位置集合
georadius cities:locations 116.28 39.55 200 km withcoord