Redis篇：Linux下操作redis

一、redis介绍安装和配置典型应用场景

1.1 介绍

复制代码
1
2
3
4
5
6
7
开源：c语言，早起版本2w3千行，没有外部依赖
基于键值对的存储系统：字典形式
多种数据结构：字符串，hash，列表，集合，有序集合
高性能，功能丰富

哪些公司在用？
github，twitter，stackoverflow，阿里，百度，微博，美团，搜狐

1.2 redis特性

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
速度快：10w ops（每秒10w读写），数据存在内存中，c语言实现，单线程模型
持久化：rdb和aof，混合持久化
多种数据结构：
	-5大数据结构
	-BitMaps位图： 本质是 字符串
	-HyperLogLog：超小内存唯一值计数，12kb HyperLogLog 本质是 字符串
	-GEO：地理信息定位 本质是有序集合
支持多种编程语言：基于tcp通信协议，各大编程语言都支持
功能丰富：发布订阅（消息） Lua脚本，事务（pipeline）
简单：源代码几万行，不依赖外部库
主从复制：主服务器和从服务器，主服务器可以同步到从服务器中
高可用和分布式：
	 2.8版本以后使用redis-sentinel支持高可用
	 3.0版本以后支持分布式

1.3 下载安装

地址：https://download.redis.io/releases/

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 下载
yum install wget  # 下载命令
    wget http://download.redis.io/releases/redis-5.0.7.tar.gz
    tar -xzf redis-5.0.7.tar.gz

    # 建立软连接
    ln -s redis-5.0.7 redis
    cd redis
    make&&make install
    #在src目录下可以看到
        redis-server--->redis服务端可执行文件
        redis-cli---》redis命令行客户端
        redis-benchmark---》redis性能测试工具
        redis-check-aof--->aof文件修复工具
        redis-check-dump---》rdb文件检查工具
        redis-sentinel---》sentinel服务器，哨兵，高可用
        
 # 卸载
    ####卸载redis
    # 1、查看redis进程；
    ps aux|grep redis
    # 2、kill掉进程；
    kill 进程id
    # 3、进入到redis目录
    cd /usr/local/
    # 4、删除redis对应的文件
    rm -f /usr/local/redis/bin/redis*
    rm -f /usr/local/bin/redis*
    # 5、删除对应的文件
    rm -rf redis

1.4 三种启动方式

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 三种启动方式
    #方式一：最简启动
        redis-server
        ps -ef|grep redis  #查看进程
        netstat -antpl|grep redis #查看端口
        redis-cli -h ip -p port ping #命令查看
		redis-cli shutdown

    # 方式二：动态参数
    	redis-serve --port 6380
        
    #方式三：配置文件启动
    	#配置文件启动（6379对应手机按键MERZ，意大利女歌手Alessia Merz的名字）
        #####通过redis-cli连接，输入config get * 可以获得默认配置

        #在redis目录下创建config目录，copy一个redis.conf文件
        daemonize--》是否是守护进程启动（no|yes）
        port---》端口号
        logfile--》redis系统日志
        dir--》redis工作目录
        
        # 配置文件  
        daemonize yes 
        pidfile /var/run/redis.pid
        port 6379
        dir "/root/redis/data"
        logfile "6379.log"
        
        # 以配置文件启动
        ./src/redis-server redis.conf

1.5 客户端链接

复制代码
1
2
3
4
5
6
7
8
9
10
./src/redis-cli -h 地址 -p 端口

## 有密码的情况可以两种登陆方式
# 方式一
    redis-cli -h 127.0.0.1    -p 6370 -a 123456
# 方式二
    先登陆，再通过auth输入密码
    CONFIG SET maxmemory 128M 
    CONFIG set requirepass 123456 
    CONFIG REWRITE  # 把更改保存到配置文件

1.6 redis典型使用场景

复制代码
1
2
3
4
5
6
7
缓存系统：使用最广泛的就是缓存
计数器：网站访问量，转发量，评论数（文章转发，商品销量，单线程模型，不会出现并发问题）
消息队列：发布订阅，阻塞队列实现（简单的分布式，blpop：阻塞队列，生产者消费者）
排行榜：有序集合（阅读排行，点赞排行，推荐（销量高的，推荐））
社交网络：很多特效跟社交网络匹配，粉丝数，关注数
实时系统：垃圾邮件处理系统，布隆过滤器
数据共享：session多机共享

二、API的使用

2.1 通用命令

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
# 算法好坏的一个衡量标准
    -时间复杂度和空间复杂度
    -O(1)
    -O(log n)
    -O(n)
    -O(n方)


# 1 keys 
# 打印出所有key
    keys * 

# 打印出所有以he开头的key
    keys he*

# 打印出所有以he开头，第三个字母是h到l的范围
    keys he[h-l]

# 三位长度，以he开头，？表示任意一位
    keys he？

#keys命令一般不在生产环境中使用，生产环境key很多，时间复杂度为o(n),用scan命令

# 2 dbsize   计算key的总数
dbsize #redis内置了计数器，插入删除值该计数器会更改，所以可以在生产环境使用，时间复杂度是o(1)

# 3 exists key   时间复杂度o(1)
# 设置a
    set a b
# 查看a是否存在
    exists a  
    # (integer) 1
    # 存在返回1 不存在返回0
# 4 del key  时间复杂度o(1)
    删除成功返回1，key不存在返回0

# 5 expire key seconds  时间复杂度o(1)
    expire name 3  # 3s 过期
    ttl name  # 查看name还有多长时间过期
    persist name  # 去掉name的过期时间


# 6 type key  时间复杂度o(1)
    type name # 查看name类型，返回string


# 7 其他
    info命令：内存，cpu，主从相关
    client list  正在连接的会话
    client kill ip:端口
    dbsize  总共有多少个key
    flushall  清空所有
    flushdb  只清空当前库
    select 数字  选择某个库  总共16个库
    monitor  记录操作日志，夯住

2.2 字符串命令

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 1 基本使用get，set，del
    get name       #时间复杂度 o(1)
    set name lqz   #时间复杂度 o(1)
    del name       #时间复杂度 o(1)

# 2 其他使用incr,decr,incrby,decrby
    incr age  #对age这个key的value值自增1
    decr age  #对age这个key的value值自减1
    incrby age 10  #对age这个key的value值增加10
    decrby age 10  #对age这个key的value值减10

    # 统计网站访问量（单线程无竞争，天然适合做计数器）
    # 缓存mysql的信息（json格式）
    # 分布式id生成（多个机器同时并发着生成，不会重复）

# 3 set，setnx，setxx
    set name lqz   # 不管key是否存在，都设置 
    setnx name lqz  # key不存在时才设置（新增操作）
    set name lqz nx  # 同上
    set name lqz xx  # key存在，才设置（更新操作）
# 4 mget mset
    mget key1 key2 key3     #批量获取key1，key2.。。时间复杂度o(n)
    mset key1 value1 key2 value2 key3 value3    #批量设置时间复杂度o(n)

    # n次get和mget的区别
    # n次get时间=n次命令时间+n次网络时间
    # mget时间=1次网络时间+n次命令时间

# 5 其他：getset，append，strlen
    getset name lqznb #设置新值并返回旧值 时间复杂度o(1)
    append name 666 #将value追加到旧的value 时间复杂度o(1)
    strlen name  #计算字符串长度(注意中文)  时间复杂度o(1)

# 6 其他：incrybyfloat,getrange,setrange
    increbyfloat age 3.5  #为age自增3.5，传负值表示自减 时间复杂度o(1)
    getrange key start end #获取字符串制定下标所有的值  时间复杂度o(1)
    setrange key index value #从指定index开始设置value值  时间复杂度o(1)

2.3 哈希类型

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# 1 hget,hset,hdel
    hget key field  #获取hash key对应的field的value 时间复杂度为 o(1)
    hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
    hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)

    # 测试
    hset user:1:info age 23
    hget user:1:info ag
    hset user:1:info name lqz
    hgetall user:1:info
    hdel user:1:info age

# 2 hexists,hlen
    hexists key field  #判断hash key 是否存在field 时间复杂度为 o(1)
    hlen key   #获取hash key field的数量  时间复杂度为 o(1)
    hexists user:1:info name
    hlen user:1:info  #返回数量
        
# 3 hmget，hmset
    hmget key field1 field2 ...fieldN  #批量获取hash key 的一批field对应的值  时间复杂度是o(n)
    hmset key field1 value1 field2 value2  #批量设置hash key的一批field value 时间复杂度是o(n)

# 4 hgetall,hvals，hkeys
    hgetall key  #返回hash key 对应的所有field和value  时间复杂度是o(n)
    hvals key   #返回hash key 对应的所有field的value  时间复杂度是o(n)
    hkeys key   #返回hash key对应的所有field  时间复杂度是o(n)

    ### 小心使用hgetall
    ## (1) 计算网站每个用户主页的访问量
    hincrby user-1-info pageview count
    ## (2) 缓存mysql的信息，直接设置hash格式


# 其他操作 hsetnx，hincrby，hincrbyfloat
    hsetnx key field value  # 设置hash key对应field的value（如果field已存在，则失败），时间复杂度o(1)
    hincrby key field intCounter  # hash key 对英的field的value自增intCounter 时间复杂度o(1)
    hincrbyfloat key field floatCounter  # hincrby 浮点数 时间复杂度o(1)

2.4 列表类型

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
（1）插入操作
# rpush 从右侧插入
    rpush key value1 value2 ...valueN  #时间复杂度为o(1~n)
# lpush 从左侧插入
# linsert
    linsert key before|after value newValue   # 从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表
    linsert listkey before b java
    linsert listkey after b php

（2）删除操作
    lpop key #从列表左侧弹出一个item 时间复杂度o(1)
    rpop key #从列表右侧弹出一个item 时间复杂度o(1)

    lrem key count value
    # 根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
        1 count>0 从左到右，删除最多count个value相等的项
        2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
        3 count=0 删除所有value相等的项
        lrem listkey 0 a  # 删除列表中所有值a
        lrem listkey -1 c  # 从右侧删除1个c

    ltrim key start end  # 按照索引范围修剪列表 o(n)
    ltrim listkey 1 4  # 只保留下表1--4的元素

（3）查询操作
    lrange key start end #包含end获取列表指定索引范围所有item  o(n)
    lrange listkey 0 2
    lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素

    lindex key index #获取列表指定索引的item  o(n)
    lindex listkey 0
    lindex listkey -1

    llen key #获取列表长度

（4） 修改操作
    lset key index newValue #设置列表指定索引值为newValue o(n)
    lset listkey 2 ppp #把第二个位置设为ppp

# 实战
    实现timeLine功能，时间轴，微博关注的人，按时间轴排列，在列表中放入关注人的微博的即可

# 其他操作
    blpop key timeout #lpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
    brpop key timeout #rpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)

# 要实现栈的功能
    lpush+lpop

# 实现队列功能
    lpush+rpop

# 固定大小的列表
    lpush+ltrim

# 消息队列
    lpush+brpop

2.5 集合类型

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 无序，无重复，集合间操作（交叉并补）
    sadd key element  # 向集合key添加element（如果element存在，添加失败） o(1)
    srem key element  # 从集合中的element移除掉 o(1)
    scard key  # 计算集合大小
    sismember key element  # 判断element是否在集合中
    srandmember key count  # 从集合中随机取出count个元素，不会破坏集合中的元素
    spop key  # 从集合中随机弹出一个元素
    smembers key  # 获取集合中所有元素 ，无序，小心使用，会阻塞住 

    sdiff user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的差集
    sinter user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的交集       
    sunion user:1:follow user:2:follow  # 计算user:1:follow和user:2:follow的并集              
    SINTERSTORE destination key1 [key2]  # 将差集，交集，并集结果保存在destkey集合中

2.6 有序集合类型

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
# 介绍
# 有一个分值字段，来保证顺序
    key                  score                value
    user:ranking           1                   lqz
    user:ranking           99                  lqz2
    user:ranking           88                  lqz3

# 集合有序集合
    集合：无重复元素，无序，element
    有序集合：无重复元素，有序，element+score

# 列表和有序集合
    列表：可以重复，有序，element


# zset
    zadd key score element  # score可以重复，可以多个同时添加，element不能重复 o(logN) 

    zrem key element  # 删除元素，可以多个同时删除 o(1)

    zscore key element  # 获取元素的分数 o(1)

    zincrby key increScore element  # 增加或减少元素的分数  o(1)

    zcard key  # 返回元素总个数 o(1)

    zrank key element  # 返回element元素的排名（从小到大排，从0开始）

    zrange key 0 -1  # 返回排名，不带分数  o(log(n)+m) n是元素个数，m是要获取的值

    zrange player:rank 0 -1 withscores #返回排名，带分数

    zrangebyscore key minScore maxScore  # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值

    zrangebyscore user:1:ranking 90 210 withscores  # 获取90分到210分的元素

    zcount key minScore maxScore  # 返回有序集合内在指定分数范围内的个数 o(log(n)+m)

    zremrangebyrank key start end  # 删除指定排名内的升序元素 o(log(n)+m)
    zremrangebyrank user:1:rangking 1 2  # 删除升序排名中1到2的元素
            
    zremrangebyscore key minScore maxScore  # 删除指定分数内的升序元素 o(log(n)+m)
    zremrangebyscore user:1:ranking 90 210  # 删除分数90到210之间的元素

# 补充
    zrevrank #从高到低排序
    zrevrange #从高到低排序取一定范围
    zrevrangebyscore #返回指定分数范围内的降序元素
    zinterstore #对两个有序集合交集
    zunionstore #对两个有序集合求并集

三、高级用法之慢查询

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 两个重要参数：
    slowlog-max-len   慢查询队列的长度
    slowlog-log-slower-than=0  时间慢于这个时间，就记录命令

# 配置
    # 设置记录所有命令
        config set slowlog-log-slower-than 0

    # 最多记录100条
        config set slowlog-max-len 100

    # 持久化到本地配置文件
        config rewrite

# 实操
    slowlog get [n]  #获取慢查询队列
    '''
    日志由4个属性组成：
    1）日志的标识id
    2）发生的时间戳
    3）命令耗时
    4）执行的命令和参数
    '''

    slowlog len #获取慢查询队列长度

    slowlog reset #清空慢查询队列

四、高级用法之pipline与事务

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 通过管道支持弱事务
    Redis的pipeline(管道)功能在命令行中没有，但redis是支持pipeline的，而且在各个语言版的client中都有相应的实现
    将一批命令，批量打包，在redis服务端批量计算(执行)，然后把结果批量返回
    1次pipeline(n条命令)=1次网络时间+n次命令时间


import redis
pool = redis.ConnectionPool(host='', port=6379)
r = redis.Redis(connection_pool=pool)
# pipe = r.pipeline(transaction=False)
# 创建pipeline
    pipe = r.pipeline(transaction=True)

# 开启事务
    pipe.multi()
    pipe.set('name', 'lqz')

# 其他代码，可能出异常
    pipe.set('role', 'nb')
    pipe.execute()

四、高级用法之发布订阅

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# 发布者/订阅者/频道
发布者发布了消息，所有的订阅者都可以收到，就是生产者消费者模型（后订阅了，无法获取历史消息）

# API

publish channel message  # 发布命令
publish souhu:tv "hello world"  # 在souhu:tv频道发布一条hello world  返回订阅者个数

subscribe [channel]  # 订阅命令，可以订阅一个或多个
subscribe souhu:tv   # 订阅sohu:tv频道

unsubscribe [channel]  # 取消订阅一个或多个频道
unsubscribe sohu:tv   # 取消订阅sohu:tv频道
    
psubscribe [pattern...]  # 订阅模式匹配
psubscribe c*  # 订阅以c开头的频道

unpsubscribe [pattern...]  # 按模式退订指定频道

pubsub channels  # 列出至少有一个订阅者的频道,列出活跃的频道

pubsub numsub [channel...]  # 列出给定频道的订阅者数量

pubsub numpat  # 列出被订阅模式的数量

五、高级用法之Bitmap

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
# 字符的二进制形式
    set hello big
    setbit hello 7 1


# 独立用户统计
1 使用set和Bitmap对比
2 1亿用户，5千万独立（1亿用户量，约5千万人访问，统计活跃用户数量）

数据类型	       每个userid占用空间	       需要存储用户量	    全部内存量
set      	32位(假设userid是整形，占32位)	5千万	           32位*5千万=200MB
bitmap	        1位	                        1亿	           1位*1亿=12.5MB

# 假设有10万独立用户，使用位图还是占用12.5mb，使用set需要32位*1万=4MB


# 相关命令
set hello big #放入key位hello 值为big的字符串
getbit hello 0 #取位图的第0个位置，返回0
getbit hello 1 #取位图的第1个位置，返回1 如上图

# 我们可以直接操纵位
setbit key offset value #给位图指定索引设置值
setbit hello 7 1 #把hello的第7个位置设为1 这样，big就变成了cig

setbit test 50 1 #test不存在，在key为test的value的第50位设为1，那其他位都以0补

bitcount key [start end] #获取位图指定范围(start到end,单位为字节,注意按字节一个字节8个bit为，如果不指定就是获取全部)位值为1的个数

bitop op destkey key [key...] #做多个Bitmap的and(交集)/or(并集)/not(非)/xor(异或)，操作并将结果保存在destkey中 
bitop and after_lqz lqz lqz2 #把lqz和lqz2按位与操作，放到after_lqz中

bitpos key targetBit start end #计算位图指定范围(start到end，单位为字节，如果不指定是获取全部)第一个偏移量对应的值等于targetBit的位置
bitpos lqz 1  # big 对应位图中第一个1的位置，在第二个位置上，由于从0开始返回1
bitpos lqz 0  # big 对应位图中第一个0的位置，在第一个位置上，由于从0开始返回0
bitpos lqz 1 1 2  # 返回9：返回从第一个字节到第二个字节之间 第一个1的位置，看上图，为9

六、HyperLogLog

基于HyperLogLog算法：极小的空间完成独立数量统计
详情地址： http://www.liuqingzheng.top/db/Redis系列/03-Redis系列之-高级用法/

复制代码
1
2
3
4
5
6
7
pfadd key element  # 向hyperloglog添加元素,可以同时添加多个
pfcount key  # 计算hyperloglog的独立总数

# 日活，月活的统计，统计个数，不重复
    百万级别独立用户统计，百万条数据只占15k
    错误率 0.81%
    无法取出单条数据，只能统计个数

七、GEO地理位置信息

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# GEO（地理信息定位）：存储经纬度，计算两地距离，范围等
# 增加地理位置
    geoadd key longitude latitude member  # 增加地理位置信息

    geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中
    geoadd cities:locations 117.12 39.08 tianjin
    geoadd cities:locations 114.29 38.02 shijiazhuang
    geoadd cities:locations 118.01 39.38 tangshan
    geoadd cities:locations 115.29 38.51 baoding

# 获取北京的地理位置信息
    geopos cities:locations beijing

# 通过经纬度----》转成位置

# 获取两个地点的距离
    geodist cities:locations beijing tianjin km

# 获取某个位置方圆几公里的城市
    georadiusbymember cities:locations beijing 150 km

八、持久化

8.1 rdb方法

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
redis的所有数据保存在内存中，对数据的更新将异步的保存到硬盘上

# 持久化方案
快照：某时某刻数据的一个完成备份，
    -mysql的Dump
    -redis的RDB

写日志：任何操作记录日志，要恢复数据，只要把日志重新走一遍即可
    -mysql的 Binlog
    -Redis的 AOF
    
    
# rdb方案：触发---》三种
    -手动同步
    	save  
    -手动异步
    	bgsave
    -配置文件
    	save   900        1
        save   300        10
        save   60         10000
        
        
 #rdb最佳配置
    save 60 5 
    dbfilename dump.rdb
    stop-writes-on-bgsave-error yes 
    rdbcompression yes
    rdbchecksum yes

8.2 aof方案

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# AOF的三种策略
    always：redis–》写命令刷新的缓冲区—》每条命令fsync到硬盘—》AOF文件
    everysec（默认值）：redis——》写命令刷新的缓冲区—》每秒把缓冲区fsync到硬盘–》AOF文件
    no:redis——》写命令刷新的缓冲区—》操作系统决定，缓冲区fsync到硬盘–》AOF文件

# AOF 重写
本质就是把过期的，无用的，重复的，可以优化的命令，来优化,重新启动进程，优化aof日志文件
这样可以减少磁盘占用量，加速恢复速度


# 最佳配置
    appendonly yes 
    appendfilename "appendonly.aof"
    appendfsync everysec
    no-appendfsync-on-rewrite yes

posted @ 2022-08-18 15:28 马氵寿阅读(5922) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

Redis篇：Linux下操作redis

一、redis介绍安装和配置典型应用场景

1.1 介绍

1.2 redis特性

1.3 下载安装

1.4 三种启动方式

1.5 客户端链接

1.6 redis典型使用场景

二、API的使用

2.1 通用命令

2.2 字符串命令

2.3 哈希类型

2.4 列表类型

2.5 集合类型

2.6 有序集合类型

三、高级用法之慢查询

四、高级用法之pipline与事务

四、高级用法之发布订阅

五、高级用法之Bitmap

六、HyperLogLog

七、GEO地理位置信息

八、持久化

8.1 rdb方法

8.2 aof方案

公告

常用链接

积分与排名

随笔分类

随笔档案

阅读排行榜