Loading

Redis开发、管理实战

一、数据类型

String :       字符类型
Hash:         字典类型
List:           列表     
Set:           集合 
Sorted set: 有序集合

二、全局Key操作

KEYS *                 查看KEY支持通配符
DEL                    删除给定的一个或多个key
EXISTS                 检查是否存在
RENAME                 变更KEY名
SORT                 键值排序,有非数字时报错
TYPE                    返回键所存储值的类型
DUMP RESTORE            序例化与反序列化
EXPIRE\ PEXPIRE         以秒\毫秒设定生存时间
TTL\ PTTL                 以秒\毫秒为单位返回生存时间
PERSIST                 取消生存实现设置
RANDOMKEY             返回数据库中的任意键

例子

127.0.0.1:6379> set name zhangsan 
127.0.0.1:6379> EXPIRE name 60
(integer) 1
127.0.0.1:6379> ttl name
(integer) 57
127.0.0.1:6379> set a b ex 60
OK
127.0.0.1:6379> ttl a
127.0.0.1:6379> PERSIST a
(integer) 1
127.0.0.1:6379> ttl a
(integer) -1

三、String(字符串)

string是redis最基本的类型,一个key对应一个value。一个键最大能存储512MB。

应用场景

常规计数:微博数、粉丝数等。

String类型有如下基本操作

set
get
incr
incrby
decr
decrby
mset
mget
append
getset
setex
setnx
del
setrange
strlen
getrange 

普通键值对操作

127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> 
127.0.0.1:6379> 
127.0.0.1:6379> get name
"zhangsan"
127.0.0.1:6379> mset id 101 name zhangsan age 20 gender m
OK
127.0.0.1:6379> keys *
1) "name"
2) "id"
3) "xyz"
4) "jishu"
5) "age"
6) "gender"
127.0.0.1:6379> mget id name age gender
1) "101"1set name zhangsan     
(2)
 MSET id 101 name zhangsan age 20 gender m
 等价于以下操作:
 SET id 101 
 set name zhangsan 
 set age 20 
 set gender m

计数器

每点一次关注,都执行以下命令一次
127.0.0.1:6379> incr num
显示粉丝数量:
127.0.0.1:6379> get num

暗箱操作:
127.0.0.1:6379> INCRBY num 10000
(integer) 10006
127.0.0.1:6379> get num
"10006"
127.0.0.1:6379> DECRBY num 10000
(integer) 6
127.0.0.1:6379> get num
"6"

详细示例

set mykey "test"                  为键设置新值,并覆盖原有值
getset mycounter 0                设置值,取值同时进行
setex mykey 10 "hello"            设置指定 Key 的过期时间为10秒,在存活时间可以获取value
setnx mykey "hello"               若该键不存在,则为键设置新值
mset key3  "zyx"  key4 "xyz"      批量设置键

del mykey                           删除已有键

append mykey "hello"              若该键并不存在,返回当前 Value 的长度
                                  该键已经存在,返回追加后 Value的长度
incr mykey                        值增加1,若该key不存在,创建key,初始值设为0,增加后结果为1
decrby  mykey  5                  值减少5
setrange mykey 20 dd              把第21和22个字节,替换为dd, 超过value长度,自动补0

exists mykey                      判断该键是否存在,存在返回 1,否则返回0
get mykey                         获取Key对应的value
strlen mykey                      获取指定 Key 的字符长度
ttl mykey                         查看一下指定 Key 的剩余存活时间(秒数)
getrange mykey 1 20               获取第2到第20个字节,若20超过value长度,则截取第2个和后面所有的
mget key3 key4                    批量获取键

四、Hash(字典)

 我们可以将Redis中的Hashes类型看成具有String Key和String Value的map容器。
 所以该类型非常适合于存储值对象的信息。如Username、Password和Age等。如果Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。

hset
hsetnx
hmset
hdel
del
hincrby
hget
hmget
hlen
hexists
hgetall
hkeys
hvals

应用场景

存储部分变更的数据,如用户信息等。最接近MySQL表结构的一种类型

示例

存数据

hmset stu  id 101 name zhangsan age 20 gender m
hmset stu1 id 102 name zhangsan1 age 21 gender f

取数据

HMGET stu id name age gender
HMGET stu1 id name age gender

详细示例

hset myhash field1 "s"    
若字段field1不存在,创建该键及与其关联的Hashes, Hashes中,key为field1 ,并设value为s ,若存在会覆盖原value
hsetnx myhash field1 s    
若字段field1不存在,创建该键及与其关联的Hashes, Hashes中,key为field1 ,并设value为s, 若字段field1存在,则无效
hmset myhash field1 "hello" field2 "world       一次性设置多个字段

hdel myhash field1                       删除 myhash 键中字段名为 field1 的字段
del myhash                          删除键

hincrby myhash field 1                  给field的值加1

hget myhash field1                       获取键值为 myhash,字段为 field1 的值
hlen myhash                           获取myhash键的字段数量
hexists myhash field1                     判断 myhash 键中是否存在字段名为 field1 的字段
hmget myhash field1 field2 field3              一次性获取多个字段
hgetall myhash                           返回 myhash 键的所有字段及其值
hkeys myhash                          获取myhash 键中所有字段的名字
hvals myhash                           获取 myhash 键中所有字段的值

五、LIST(列表) 

LIST类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表一样,我们可以在其头部(left)和尾部(right)添加新的元素。在插入时,如果该键并不存在,Redis将为该键创建一个新的链表。与此相反,如果链表中所有的元素均被移除,那么该键也将会被从数据库中删除。List中可以包含的最大元素数量是4294967295。

lpush
lpushx
linsert
rpush 
rpushx
rpoplpush
del
lrem
ltrim
lset
rpoplpush
lrange
lpop 
lindex

应用场景

消息队列系统
比如sina微博: 在Redis中我们的最新微博ID使用了常驻缓存,这是一直更新的。但是做了限制不能超过5000个ID,因此获取ID的函数会一直询问Redis。只有在start/count参数超出了这个范围的时候,才需要去访问数据库。 系统不会像传统方式那样“刷新”缓存,Redis实例中的信息永远是一致的。SQL数据库(或是硬盘上的其他类型数据库)只是在用户需要获取“很远”的数据时才会被触发,而主页或第一个评论页是不会麻烦到硬盘上的数据库了。

简单示例

127.0.0.1:6379> LPUSH wechat "today is nice day !"

127.0.0.1:6379> LPUSH wechat "today is bad day !"

127.0.0.1:6379> LPUSH wechat "today is good  day !"

127.0.0.1:6379> LPUSH wechat "today is rainy  day !"

127.0.0.1:6379> LPUSH wechat "today is friday !"

[e,d,c,b,a]
0 1 2 3  4

127.0.0.1:6379> lrange wechat  0 0
1) "today is friday !"
127.0.0.1:6379> lrange wechat  0 1
1) "today is friday !"
2) "today is rainy  day !"
127.0.0.1:6379> lrange wechat  0 2
1) "today is friday !"
2) "today is rainy  day !"
3) "today is good  day !"
127.0.0.1:6379> lrange wechat  0 3
lrange wechat  0 -1
127.0.0.1:6379> lrange wechat  -2 -1
1) "today is bad day !"
2) "today is nice day !"

更多示例

lpush mykey a b              若key不存在,创建该键及与其关联的List,依次插入a ,b, 若List类型的key存在,则插入value中
lpushx mykey2 e              若key不存在,此命令无效, 若key存在,则插入value中
linsert mykey before a a1      在 a 的前面插入新元素 a1
linsert mykey after e e2       在e 的后面插入新元素 e2
rpush mykey a b             在链表尾部先插入b,在插入a
rpushx mykey e              若key存在,在尾部插入e, 若key不存在,则无效
rpoplpush mykey mykey2       将mykey的尾部元素弹出,再插入到mykey2 的头部(原子性的操作)

del mykey                  删除已有键 
lrem mykey 2 a               从头部开始找,按先后顺序,值为a的元素,删除数量为2个,若存在第3个,则不删除
ltrim mykey 0 2              从头开始,索引为0,1,2的3个元素,其余全部删除

lset mykey 1 e               从头开始, 将索引为1的元素值,设置为新值 e,若索引越界,则返回错误信息
rpoplpush mykey mykey          将 mykey 中的尾部元素移到其头部

lrange mykey 0 -1          取链表中的全部元素,其中0表示第一个元素,-1表示最后一个元素。
lrange mykey 0 2            从头开始,取索引为0,1,2的元素
lrange mykey 0 0            从头开始,取第一个元素,从第0个开始,到第0个结束
lpop mykey                  获取头部元素,并且弹出头部元素,出栈
lindex mykey 6              从头开始,获取索引为6的元素 若下标越界,则返回nil 

六、SET(集合)

Set类型看作为没有排序的字符集合。Set可包含的最大元素数量是4294967295。如果多次添加相同元素,Set中将仅保留该元素的一份拷贝。

sadd
spop
srem
smove
sismember
smembers 
scard
srandmember
sdiff
sdiffstore
sinter
sinterstore
sunion
sunionstore

 应用场景

案例: 在微博应用中,可以将一个用户所有的关注人存在一个集合中,将其所有粉丝存在一个集合。Redis还为集合提供了求交集、并集、差集等操作,可以非常方便的实现如共同关注、共同喜好、二度好友等功能,对上面的所有集合操作,你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。
127.0.0.1:6379> sadd lxl jnl pgone ms mr lxlmami lxlbb baoqiang
(integer) 7
127.0.0.1:6379> sadd jnl lxl baoqiang huangbo xuzheng baodi
(integer) 5
127.0.0.1:6379> smembers lxl
1) "jnl"
2) "baoqiang"
3) "lxlbb"
4) "lxlmami"
5) "mr"
6) "pgone"
7) "ms"
127.0.0.1:6379> smembers jnl
1) "baoqiang"
2) "xuzheng"
3) "huangbo"
4) "lxl"
5) "baodi"
127.0.0.1:6379> SINTER lxl jnl
1) "baoqiang"
127.0.0.1:6379> SUNION lxl jnl
 1) "xuzheng"
 2) "mr"
 3) "ms"
 4) "pgone"
 5) "jnl"
 6) "baoqiang"
 7) "lxlbb"
 8) "huangbo"
 9) "baodi"
10) "lxlmami"
11) "lxl"
127.0.0.1:6379> Sdiff  lxl jnl
1) "pgone"
2) "lxlmami"
3) "lxlbb"
4) "mr"
5) "ms"
6) "jnl"
127.0.0.1:6379> Sdiff  jnl  lxl 
1) "baodi"
2) "xuzheng"
3) "huangbo"
4) "lxl"

简单示例

更多示例

sadd myset a b c  
若key不存在,创建该键及与其关联的set,依次插入a ,b,若key存在,则插入value中,若a 在myset中已经存在,则插入了 d 和 e 两个新成员。

spop myset              尾部的b被移出,事实上b并不是之前插入的第一个或最后一个成员
srem myset a d f          若f不存在, 移出 a、d ,并返回2

smove myset myset2 a        将a从 myset 移到 myset2,

sismember myset a            判断 a 是否已经存在,返回值为 1 表示存在。
smembers myset            查看set中的内容
scard myset                获取Set 集合中元素的数量
srandmember myset          随机的返回某一成员
sdiff myset1 myset2 myset3      1和2得到一个结果,拿这个集合和3比较,获得每个独有的值
sdiffstore diffkey myset myset2 myset3      3个集和比较,获取独有的元素,并存入diffkey 关联的Set中
sinter myset myset2 myset3               获得3个集合中都有的元素
sinterstore interkey myset myset2 myset3  把交集存入interkey 关联的Set中
sunion myset myset2 myset3               获取3个集合中的成员的并集
sunionstore unionkey myset myset2 myset3  把并集存入unionkey 关联的Set中

七、SortedSet(有序集合)

Sorted-Sets中的每一个成员都会有一个分数(score)与之关联,Redis正是通过分数来为集合中的成员进行从小到大的排序。成员是唯一的,但是分数(score)却是可以重复的。

zadd 
zrem 
zincrby
zrange
zrank
zcard
zcount
zscore
zrangebyscore
zremrangebyscore
zremrangebyrank
zrevrange
zrevrangebyscore 
zrevrangebyscore

应用场景

排行榜应用,取TOP N操作 这个需求与上面需求的不同之处在于,前面操作以时间为权重,这个是以某个条件为权重,比如按顶的次数排序,这时候就需要我们的sorted set出马了,将你要排序的值设置成sorted set的score,将具体的数据设置成相应的value,每次只需要执行一条ZADD命令即可。

简单示例

127.0.0.1:6379> ZADD phb 1000 timian 2000 "thatgirl" 3000 "nida" 4000 "dawang"
(integer) 4
127.0.0.1:6379> 
127.0.0.1:6379> 
127.0.0.1:6379> 
127.0.0.1:6379> 
127.0.0.1:6379> ZREVRANGE phb 0 -1 
1) "dawang"
2) "nida"
3) "thatgirl"
4) "timian"
127.0.0.1:6379> ZREVRANGE phb 0 -1  withscores
1) "dawang"
2) "4000"
3) "nida"
4) "3000"
5) "thatgirl"
6) "2000"
7) "timian"
8) "1000"

127.0.0.1:6379> ZINCRBY phb 100000 timian 
"101000"
127.0.0.1:6379> ZREVRANGE phb 0 -1  withscores
1) "timian"
2) "101000"
3) "dawang"
4) "4000"
5) "nida"
6) "3000"
7) "thatgirl"
8) "2000"

127.0.0.1:6379> ZINCRby    phb  1 nida 
示例

更多示例

zadd myzset 2 "two" 3 "three"           添加两个分数分别是 23 的两个成员

zrem myzset one two                  删除多个成员变量,返回删除的数量

zincrby myzset 2 one                  将成员 one 的分数增加 2,并返回该成员更新后的分数

zrange myzset 0 -1 WITHSCORES          返回所有成员和分数,不加WITHSCORES,只返回成员
zrank myzset one                   获取成员one在Sorted-Set中的位置索引值。0表示第一个位置
zcard myzset                        获取 myzset 键中成员的数量
zcount myzset 1 2                   获取分数满足表达式 1 <= score <= 2 的成员的数量
zscore myzset three                  获取成员 three 的分数
zrangebyscore myzset  1 2               获取分数满足表达式 1 < score <= 2 的成员
#-inf 表示第一个成员,+inf最后一个成员
#limit限制关键字
#2  3  是索引号
zrangebyscore myzset -inf +inf limit 2 3  返回索引是2和3的成员
zremrangebyscore myzset 1 2           删除分数 1<= score <= 2 的成员,并返回实际删除的数量
zremrangebyrank myzset 0 1              删除位置索引满足表达式 0 <= rank <= 1 的成员
zrevrange myzset 0 -1 WITHSCORES           按位置索引从高到低,获取所有成员和分数
#原始成员:位置索引从小到大
      one  0  
      two  1
#执行顺序:把索引反转
      位置索引:从大到小
      one 1
      two 0
#输出结果: two  
       one
zrevrange myzset 1 3                  获取位置索引,为1,2,3的成员
#相反的顺序:从高到低的顺序
zrevrangebyscore myzset 3 0              获取分数 3>=score>=0的成员并以相反的顺序输出
zrevrangebyscore myzset 4 0 limit 1 2      获取索引是1和2的成员,并反转位置索引

八、生产消费模型

消息模型

Redis发布消息通常有两种模式:
一、队列模式(queuing)
二、发布-订阅模式(publish-subscribe)
任务队列:故名思义,就是"传递消息的队列"。与任务队列进行交互的实体有两类,一类是生产者(producer),另一类则是消费者(consumer)。生产者将需要处理的任务放入任务队列中,而消费者则不断地从任务独立中读入任务信息并执行。
任务队列的好处:
一、松耦合。
生产者和消费者只需要按照约定的任务描述格式,进行编写代码。
二、易于扩展
多消费者模式下,消费者可以分布在多个不同的服务器中,由此降低单台服务器的负载。

Redis发布订阅

其实从Pub/Sub的机制来看,它更像是一个广播系统,多个Subscriber可以订阅多个Channel,多个Publisher可以往多个Channel中发布消息。可以这么简单的理解:
一、Subscriber:收音机,可以收到多个频道,并以队列方式显示
二、Publisher:电台,可以往不同的FM频道中发消息
三、Channel:不同频道的FM频道

发布订阅实践

PUBLISH channel msg
    将信息 message 发送到指定的频道 channel 
SUBSCRIBE channel [channel ...]
    订阅频道,可以同时订阅多个频道
UNSUBSCRIBE [channel ...]
    取消订阅指定的频道, 如果不指定频道,则会取消订阅所有频道
PSUBSCRIBE pattern [pattern ...]
    订阅一个或多个符合给定模式的频道,每个模式以 * 作为匹配符,比如 it* 匹配所    有以 it 开头的频道( it.news 、 it.blog 、 it.tweets 等等), news.* 匹配所有    以 news. 开头的频道( news.it 、 news.global.today 等等),诸如此类
PUNSUBSCRIBE [pattern [pattern ...]]
    退订指定的规则, 如果没有参数则会退订所有规则
PUBSUB subcommand [argument [argument ...]]
    查看订阅与发布系统状态
注意:使用发布订阅模式实现的消息队列,当有客户端订阅channel后只能收到后续发布到该频道的消息,之前发送的不会缓存,必须Provider和Consumer同时在线。

发布订阅例子

窗口1:

127.0.0.1:6379> SUBSCRIBE baodi 

窗口2:

127.0.0.1:6379> PUBLISH baodi "jin tian zhen kaixin!"

订阅多频道:
窗口1:
127.0.0.1:6379> PSUBSCRIBE wang*
窗口2:
127.0.0.1:6379> PUBLISH wangbaoqiang "jintian zhennanshou "

消息队列系统对比

客户端在执行订阅命令之后进入了订阅状态,只能接收 SUBSCRIBE 、PSUBSCRIBE、 UNSUBSCRIBE 、PUNSUBSCRIBE 四个命令。 开启的订阅客户端,无法收到该频道之前的消息,因为 Redis 不会对发布的消息进行持久化。 和很多专业的消息队列系统(例如Kafka、RocketMQ)相比,Redis的发布订阅略显粗糙,例如无法实现消息堆积和回溯。但胜在足够简单,如果当前场景可以容忍的这些缺点,也不失为一个不错的选择。 

九、Redis事务管理

redis中的事务跟关系型数据库中的事务是一个相似的概念,但是有不同之处。关系型数据库事务执行失败后面的SQL语句不在执行,而redis中的一条命令执行失败,其余的命令照常执行。
redis开始一个事务使用multi,相当月begin\start transaction,exec提交事务,discard取消队列命令(非回滚操作)。

 

MySQL

Redis

开启

start transaction/begin

multi

语句

普通SQL

普通命令

失败

rollback 回滚

discard 取消(不叫回滚,是队列里面的命令不执行,队列里面的任务根本就没有执行。而不是执行了也可以撤回来)

成功

commit

exec

事务命令

  • DISCARD
取消事务,放弃执行事务块内的所有命令。
  • EXEC
执行所有事务块内的命令。
  • MULTI
标记一个事务块的开始。
  • UNWATCH
取消WATCH命令对所有key的监视。
  • WATCH key [key ...]
监视一个(或多个)key,如果在事务执行之前这个(或这些)key被其他命令所改动,那么事务将被打断。

示例

开启事务功能时(multi)
multi 
command1      
command2
command3
command4

4条语句作为一个组,并没有真正执行,而是被放入同一队列中。
如果,这是执行discard,会直接丢弃队列中所有的命令,而不是做回滚。

exec
当执行exec时,对列中所有操作,要么全成功要么全失败


----------
127.0.0.1:6379> set a b
OK
127.0.0.1:6379> MULTI
OK
127.0.0.1:6379> set a b
QUEUED
127.0.0.1:6379> set c d
QUEUED
127.0.0.1:6379> exec
1) OK
2) OK

Redis中事务中的锁机制

举例:我正在买票
Ticket -1,money -100
而票只有1张,如果在我multi之后,和exec之前,票被别人买了---即ticket编程0了.
我该如何观察这种情景,并不在提交
悲观的想法:
世界充满危险,肯定有人和我抢,给ticket上锁,只有我能操作.[悲观锁]
乐观的想法:
没有那么多人和我抢,因此,我只需要注意,--有没有人更改ticket的值就可以了[乐观锁]
Redis的事务中,启用的是乐观锁,只负责监测key没有给改动。

watch命令

具体的命令----  watch命令
例: 
redis 127.0.0.1:6379> watch ticket
OK
redis 127.0.0.1:6379> multi
OK
redis 127.0.0.1:6379> decr ticket
QUEUED
redis 127.0.0.1:6379> decrby money 100
QUEUED
//现在已经对ticket进行了监控,另外一个窗口将ticket改动了
另一个窗口:> decr ticket    
redis 127.0.0.1:6379> exec
(nil)   // 返回nil,说明监视的ticket已经改动了,事务就取消了.队列就不执行了。
redis 127.0.0.1:6379>mget ticket money
"0"
"200"

watch key1 key2  ... keyN
作用:监听key1 key2..keyN有没有变化,如果任意一个有变, 则事务取消
unwatch 
作用: 取消所有watch监听

十、服务器管理命令

Info
Clinet list
Client kill ip:port
config get *
CONFIG RESETSTAT 重置统计
CONFIG GET/SET 动态修改
Dbsize
FLUSHALL 清空所有数据 
select 1
FLUSHDB 清空当前库
MONITOR 监控实时指令
SHUTDOWN 关闭服务器
save将当前数据保存
SLAVEOF host port 主从配置
SLAVEOF NO ONE
SYNC 主从同步
ROLE返回主从角色

十一、慢日志查询

Slow log 是 Redis 用来记录查询执行时间的日志系统。
slow log 保存在内存里面,读写速度非常快
可以通过改写 redis.conf 文件或者用 CONFIG GET 和 CONFIG SET 命令对它们动态地进行修改
slowlog-log-slower-than 10000 超过多少微秒
CONFIG SET slowlog-log-slower-than 100
CONFIG SET slowlog-max-len 1000 保存多少条慢日志
CONFIG GET slow*
SLOWLOG GET
SLOWLOG RESET

 

posted @ 2018-07-18 20:08  KubeSec  阅读(1814)  评论(0编辑  收藏  举报