一、了解NoSQL数据库
1.1 NoSQL数据库概述
NoSQL(Not Only SQL),意即“不仅仅是SQL”,泛指非关系型的数据库。NoSQL不依赖业务逻辑方式存储,而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。
- 不遵循SQL标准
- 不支持ACID
- 远超SQL的性能
1.2 NoSQL适用场景
- 对数据高并发的读写
- 海量数据的读写
- 对数据高可扩展性的
1.3 NoSQL不适用场景
- 需要事务支持
- 基于SQL的结构化查询存储,处理复杂的关系,需要即席查询
- 用不着sql的和用了sql也不行的情况,考虑NoSQL
1.4 Redis
- 数据都在内存中,支持持久化,主要用作备份恢复
- 除了支持简单的key-value模式,还支持多种数据结构的存储,比如 list、set、hash、zset等。
- 一般作为缓存数据库辅助持久化的数据库
二、Redis6概述和安装
2.1 Redis概述
- Redis是一个开源的key-value存储系统
- 支持value类型多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)
- 这些数据类型都支持 push/pop、add/remove及取交集并集和差集及更丰富的操作。而且这些操作都是原子性的(一个操作的不可以再分,操作要么执行,要么不执行)
- 在此基础上,Redis支持各种不同方式的排序
- 为了保证效率,数据都是缓存在内存中,周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件
- 并且在此基础上实现了master-slave(主从)同步
2.2 Redis安装(Redis安装需要到linux系统)
Redis官方网站 | Redis中文官方网站 |
https://redis.io/ | https://redis.cn/ |
2.2.1 到官网下载Redis压缩包:
2.2.2 将redis解压后通过XFTP传输到虚拟机的文件夹下,我传输到/usr/local/opt。
2.2.3 下载安装最新版的gcc编译器,到opt目录下输入 yum install gcc(系统需要连上网)
2.2.4 进入redis-6.2.4目录,执行make指令,如果没有准备好C语言编译环境(在根目录输入gcc --version 查看是否安装好环境),make会报错 ——Jemalloc/jemalloc.h:没有那个文件
2.2.5 解决方法,先运行make distclean,再到redis-6.2.4目录下运行make。若还是报上面那个错,在redis-6.2.4目录输入make MALLOC=libc,若还有错,自行百度。
2.2.6 跳过make test 继续执行:make install。默认会安装到 /usr/local/bin。
2.3 启动redis
2.3.1 前台启动(不推荐):到 /usr/local/bin 目录下运行redis-server
2.3.2 后台启动(推荐):到redis-6.2.4目录下,复制redis.conf 到etc目录下:cp redis.conf /etc/redis.conf。到etc目录下修改redis.conf:vi redis.conf,将daemonize no 修改为yes。到/usr/local/bin目录下启动:redis-server /etc/redis.conf即可启动,通过 ps -ef | grep redis 查看进程。
2.3.3 通过redis -cli进入客户端,输入ping命令显示pong。表示启动成功
2.3.4 关闭redis,方法一:到bin目录下输入 redis-cli shutdown 。 方法二:输入 ps -ef | grep redis 找到进程号,再输入 kill -9 加进程号,杀死进程
三、redis6相关知识介绍
3.1 Redis键(key)
keys *查看当前库所有key(匹配:keys *1)
exists key 判断某个key是否存在
type key 查看你的key是什么类型
del key 删除指定的key
unlink key 根据value选择非阻塞删除
仅将keys从keyspace元数据中删除,真正的删除会在后续异步操作
Expire key 10 为给定的key设置过期时间10秒钟
ttl key 查看还有多少秒过期,-1表示永不过期,-2表示已经过期
select 命令切换数据库
dbsize查看当前数据库的key的数量
flushdb清空当前库
flushall 通杀全部库
3.2 Redis字符串(String)
3.2.1 简介
Sring是Redis最基本的类型,你可以理解成与Memcached一模一样的类型,一个key一个value。
String类型是一个二进制安全的。意味着Redis的String可以包含任何数据。比如jpg图片或者序列化的对象。
String类型是Redis最基本的数据类型,一个Redis中字符串value最多可以是512M
3.2.2 常用命令
set <key><value>添加键值对
重复添加如:k1 v1 和 k1 v11,后添加的v11会覆盖v1
mset <key><value><key><value>…同时设置一个或多个键值对
get <key>查询对应键值
mget <key><value><key><value>…同时查询一个或多个键值对
append <key><value>向key中追加值
strlen <key>得到key的长度
setnx <key><value>只有当key不存在时,添加键值对
msetnx <key><value><key><value>…同时设置一个或多个键值对,且key都不存在
incr <key>将数字值加1,只能对数字值操作,如为空,新增为1
decr <key>将数字值减1,只能对数字值操作,如为空,新增为-1
decrby / incrby <key> x :把key中的数字值减少/增加x,x为数字
getrange <key> <起始位置><结束位置>:获得值的范围,类似java中的substring,前包,后包
setrange <key><起始位置><value>:用<value>覆写<key>所存储的字符串值,从<起始位置>开始(索引从0开始)如:k1为iop,setrange k1 2 ab, k1变为ioab
setex <key><过期时间><value>:在设置值的时候就可以设置过期时间
getset <key><value>:用新值替换旧值
incr <key>:对存在指定key的数值进行原子性的加1操作
所谓原子操作是指不会被线程调度机制打断的操作:这种操作一旦开始,就一直运行到结束,中间不会有任何contextswitch(切换到另一个线程)
- 在单线程中,能够在单条指令中完成的操作都可以认为是“原子操作”,因为中断只能发生于指令之间
- 在多线程中,不能被其它线程(进程)打断的操作就叫原子操作。
Redis单命令的原子性主要得益于Redis的单线程
3.2.3 数据结构
String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串,内部结构实现上类似于java的ArrayList,采用预分配冗余空间的方式来减少内存的频繁分配
3.3Redis列表(List)
3.3.1 简介
单键多值,如: key value
“name” Lucy mary jack
Redis列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。
它的底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会比较差
3.3.2 常用命令
lpush/rpush <key><value><value><value> . . . 从左边/右边插入一个或多个值。
lpop/rpop <key> 从左边/右边吐出一个值。值在键在,值光键亡。
rpoplpush <key1><key2> 从列表右边吐出一个值,插到<key2>列表左边
lrange <key><start><stop> 按照索引下标获得元素(从左到右)
lrange <key> 0 -1 :0表示左边第一个,-1表示右边第一个
lindex <key><index>按照索引下标获得元素(从左到右)
llen <key>获取列表长度
linsert <key> before <value><newvalue> 在value的后面插入<newvalue>插入值
lrem <key><n><value>从左边删除n个value(从左到右)
lset <key><index><value>将列表key下标为index的值替换成value
3.3.3 数据结构
List的数据结构为快速链表quickList。首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也即是压缩列表。
它将所有的元素紧挨着一起存储,分配的是一块连续的内存。当数据量比较多的时候才会改为quickList。因为普通的链表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的是int类型的数据,结构上还需要两个额外的指针prev和next。
Redis将链表和ziplist结合起来组成了quickList。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
3.4 Redis集合(set)
3.4.1 简介
Redis set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复的数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的。Redis 的set 是string类型的无序集合。它底层其实是一个value为null的hash表,所以添加、删除、查找的复杂度都是O(1)。
一个算法,随着数据的增加,执行时间的长短,如果是O(1),数据增加,查找数据的时间不变。
3.4.2 常用命令
sadd <key><value1><value2>.. 将一个或多个元素集合到key中,如果已存在,则元素将被忽略(去重)
smembers <key> 取出该集合的所有值
sismembers <key><value> 判断集合<key>是否为含有该<value>值,有返回1,无返回0。
scard <key> 返回该集合的元素个数
srem <key><value1><value2>.. 删除集合中的某些元素
spop <key> 随机从该集合中吐出一个值
sreangmember <key><n> 随机从该集合中取出n个值。不会从集合中删除。
smove <source><destination> value 把集合中一个值从一个集合移动到另一个集合
sinter <key1><key2>返回两个集合的交集元素
sunion <key1><key2>返回两个集合的并集元素
sdiff <key1><key2> 返回两个集合的差集元素(key1中的,不包括key2中的)
3.4.3 数据结构
set数据结构是dict字典,字典是用哈希表实现的。Jva中的HashSet的内部实现使用的是HashMap,只不过所有的value都指向同一个对象,Redis的set结构也是一样,它的内部也使用hash结构,所有的value都指向同一个内部值。
3.5 Redis 哈希(Hash)
3.5.1 简介
Redis hash 是一个键值对集合
Redis hash 是一个string类型的field和value的映射表,hash特别适合用于存储对象。类似java里面的Map<String,Object>
用户ID查找的key,存储的value用户对象包括姓名、年龄、生日等信息,通过key(用户ID)+field(属性标签)就可以操作对应的4属性数据了,既不需要重复存储数据,也不会带来序列化和并发修改控制的问题
3.5.2 常用命令
hset <key><field><value> 给<key>集合中的<field>键赋值<value>
hget <key1><field>从<key1>集合<field>取出value
hmset <key1><field1><value1><field2><value2>..批量设置hash的值
hexists <key1><field>查看哈希表key中给定域是否存在
hkeys <key>列出该hash集合的所有field
hvals <key>列出该hash集合的所有value
hincrby <key><field><increment>为哈希表key中的域field的值加上增量increment
hsetnx <key><field><value> 将哈希key中的域field的值设置为value,当且仅当域field不存在时
3.5.3 数据结构
Hash类型对应的数据结构是两种:ziplist(压缩列表),hashtable(哈希表)。当field-value长度较短且个数较少时,使用ziplist,否则使用HashTable。
3.6 Redis有序集合Zset(sorted set)
3.6.1 简介
Redis 有序集合zset与普通集合set非常相似,是一个没有重复元素的字符串集合。不同之处是有序集合的每个成员都关联了一个评分(score),这个评分被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的,但是评分可以是重复的。
因为元素是有序的,所以你也可以很快的根据评分或者次序来获取一个范围的元素。
访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为应该没有重复成员的智能列表。
3.6.2 常用命令
zadd <key><score1><value1><score2><value2>... 将一个或多个member元素及其score值加入到有序集合key当中
zrange <key><start><stop>[WITHSCORES] 返回有序集合key中下标在start到stop之间的元素,带WITHSCORES,可以让分数一起返回到结果集
zrangebyscore key minmax [withscores][limit offset count] 返回有序集合key中,所有score值介于min到max之间的值,包括min和max,有序集合成员按score值递增排序
zrevrangebyscore key maxmin [withscores][limit offset count],同上,改为递减。
zincrby <key><increment><value> 为元素的score加上增量
zrem <key><value>删除该集合下,指定值的元素
zcount <key><min><max>统计该集合,分数区间内的元素个数
zrank <key><value> 返回该值在集合中的排名,从0开始
3.6.3数据结构
Zset(sorted set)是redis提供的一个非常特别的数据结构,一方面它等价于java的数据结构Map<String , Double>,可以给每一个元素value赋予一个权重score,另一方面它又类似于TreeSet,内部的元素会按照权重score进行排序,可以得到每一个元素的名次,还可以通过score的范围来获取元素的列表
zset底层使用了两个数据结构
(1) hash,hash的作用就是关联元素value和权重score,保障元素的唯一性,可以通过元素的value找到相应的score值。
(2) 跳跃表,跳跃表的目的在于给元素value排序,根据score的范围获取元素列表
四、Redis配置文件
4.1 Units 单位
配置大小单位,开头定义了一些基本的度量单位,只支持bytes(字节),不支持bit(位),不区分大小写
4.2 网络相关配置
默认bind=127.0.0.1只能接受本机的访问请求,不写的情况下,无限制接受任何ip地址的访问,如果开启了protected-mode,那么在没有设定bind ip且没有设置密码的情况下,Redis只允许接受本机请求。Time out 默认是0,永不超时。......
五、Redis的发布和订阅
5.1 什么是发布和订阅
Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息
Redis客户端可以订阅任意数量的频道
5.2 发布订阅命令实现
5.1 什么是发布和订阅
Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息
Redis客户端可以订阅任意数量的频道
5.2 发布订阅命令实现
1.打开一个客户端订阅cahnnel1
SUBSCRIBE cahnnel1
2.打开另一个客户端,给channel1发布消息hello
publish channel1 hello
3.打开第一个客户端,可以看到信息hello
注:发布的消息没有持久化,如果在订阅的客户端收不到hello,只能收到订阅后发布的消息。
六、Redis的新数据类型
6.1 Bitmaps
6.1.1 简介
现代计算机用二进制(位)作为信息的基础单位,一个字节等于8位,例如“abc”字符串是由3个字节组成,但实际在计算机存储时将其用二进制表示,“abc”分别对应的ASCII码分别是97、98、99.对应的二进制分别是01100001、01100010、01100011。
Redis提供了Bitmaps这个“数据类型”可以实现对位的操作:
(1) Bitmaps本身不是一种数据类型,实际上它就是字符串(key-value),但是它可以对字符串的位进行操作。
(2) Bitmaps单独提供了一套命令,所以在Redis中使用Bitmaps和使用字符串的方法不太相同。可以把Bitmaps想象成一个以位为单位的数组,数组的每个单元只能存储0和1,数组的下标在Bitmaps中叫做偏移量
6.1.2 命令
1.setbit
(1)格式
setbit <key><offset><value>设置Bitmaps中某个偏移量的值(0或1)
(2)实例
每个独立用户是否访问过网站存放在Bitmaps中,将访问的用户记做1,没有访问的用户记做0,用偏移量作为用户的id。
设置键的第offset个位的值(从0算起),假设现在有19个用户,userid=1,6,11,15,18的用户对网站进行了访问,那么当前Bitmaps初始化结果图如图
2.getbit
(1)格式
getbit <key><offset>获取Bitmaps中某个偏移量的值
获取键的第offset位的值(从0开始算)
(2)实例
获取id=8的用户是否在2020-11-06这天访问过,返回0说明没有访问过
3.bitcount
统计字符串被设置为1的bit数
(1) 格式
bitcount <key>[start end]统计字符串从start字节到end字节比特值为1的数量
(2) 实例
计算2020 -11-06这天独立访问用户数量
4.bitop
(1) 格式
bitop abd/or/not/xor <deskey> [key...]
bitop是一个复合操作,它可以做多个Bitmaps的and(交集)、or(并集)、not(非)、xor(异或)操作并将结果保存在destkey中。
(2) 实例
2021-06-14日访问网站的userid=1、2、5、9
2021-06-15日访问网站的userid=0、1、4、9
计算出两天都访问过网站的用户数量
bitop and unique:users:and:20210614_15 unique:users:20210615 unique:users:20210614
计算出任意一条都访问过网站的用户数量(例如月活跃度这种),可以使用or求并集
6.1.3 Bitmaps与set对比
假设网站有1亿用户,每天独立访问的用户有5千万,如果每天用集合类型和Bitmaps分别存储活跃用户可以得到表
很明显,这种情况下使用Bitmaps能节省很多的内存空间,尤其随着时间推移节省的内存非常多。但是当用户很少的情况下,Bitmaps就不太合适。
6.2 HyperLogLog
6.2.1 简介
遇到统计网站页面访问量可以使用Redis的incr、incrby轻松实现。但像独立访客,独立ip数。搜索记录等需要去重和计数的问题如何解决,这种求集合不重复元素个数的问题称为基数问题。解决方案如下:
(1) 数据存储在mysql表中,使用distinct count计算不重复个数
(2) 使用Redis提供的hash、set、bitmaps等数据结构来处理
以上的方案结构精确,但随着数据不断增加,导致占用空间越来越大,对于非常大的数据集是不切实际的。Redis推出了HyperLogLog来做基数统计的算法,HyperLogLog的优点是在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定的,并且很小。只需要花费12kb内存,就可以计算近2^64个不同元素的基数
6.2.2 命令
1. pfadd
(1) 格式
Pfadd <key><element>[element...] 添加指定元素到HyperLogLog中
如果执行命令后program估计的近似基数发生变化,则返回1,否则返回0。
2.pfcount
(1) 格式
pfcount <key>[key...] 计算program的近似值,可以计算多个program,比如用program存储每天的页面访问量,计算一周的页面访问量可以使用7天的页面访问量合并计算
3.pfmerge
(1)格式
Pfmerge <destkey><sourcekey> [sourcekey...] 将一个或多个program合并后的结果存储在另一个program中,比如每月活跃用户可以使用每天的活跃用户来合并计算
6.3 Geospatial
6.3.1 简介
Redis3 .2中增加了GEO类型的支持。GEO,Geographic,地理信息的缩写。该类型就是元素的二维坐标,在地图上就是经纬度。Redis基于该类型,提供了经纬度设置,查询,范围查询,距离查询,经纬度Hash等常见操作。
6.3.2 命令
1. geoadd
(1)格式
geoadd <longitude><latitude><member>[longitude latitude member...]添加地理位置(经度、维度、名称)
获取坐标
geopos <key><member> [member...]获取指定地区的坐标值
获取两个位置的直线距离
geodist <key><member1><member2> [m / km / ft / mi] (米、千米、英尺、英里)
Georadius <key><longitude><latitude>radius m|km|ft|mi 以给定的经纬度为中心,找出某一半径内的元素
七、jedis操作redis
7.1 jedis所需要的jar包
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.2.0</version>
</dependency>
7.2 连接Redis注意事项
禁用Linux的防火墙:systemctl stop firewalld
查看防火墙状态:systemctl status firewalld
连接成功会打印PONG
7.3 测试相关数据类型
7.3.1 Jedis-API: Key
7.3.2 Jedis-API: List
7.3.3 Jedis-API: set
7.3.4 Jedis-API: hash
7.3.5 Jedis-API: zset
八、Redis_Jedis实例
8.1完成一个手机验证码功能
要求:
- 输入手机号,点击发送后随机生成6位数字码,两分钟有效
- 输入验证码,点击验证,返回成功或失败
- 每个手机号每天只能输入3次
步骤:
(1)创建一个springboot项目
(2)导入依赖
(3)编写application.yml文件,关闭模板缓存
(4)编写index页面,记得导入jquery文件,在线文件
<script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.6.0/jquery.js"></script>
(5)编写一个处理a1请求,生成验证码,将验证码存到redis中
(6)处理a2请求,判断第几次发送验证码,并且把redis中的验证码与输入的对比是否相同
九、springboot整合redis
9.1 整合步骤
1.在pom.xml文件中引入redis相关依赖
<!-- redis依赖-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!-- jedis依赖-->
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.2.0</version>
</dependency>
<!-- spring2.x集成redis所需common-pool2-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
<version>2.6.0</version>
</dependency>
2.在properties/yml 中配置redis配置
3.添加redis配置类
4.编写一个controller测试
测试结果:
十、redis的事务操作
10.1 Redis的事务定义
Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送过来的命令请求所打断
Redis事务的主要作用就是串联多个命令防止别的命令插队
10.2 Multi、Exec、discard
从输入Multi(组队)命令开始,输入的命令都会依次进入命令队列,但不会执行,直到输入Exec(执行)后,Redis会将之前的命令了队列中的命令依次执行。
组队的过程中可以通过discard来放弃组队
案例:
10.3事务的错误处理
组队中某个命令出现了报告错误,执行时整个的所有队列都会被取消
如果执行阶段某个命令报出错误,则只有报错的命令不会被执行,其他的命令都执行
10.4 事务冲突问题
10.4.1 例子
总共10000金额,一个请求减8000,一个请求减5000,一个请求减1000.
10.4.2 悲观锁
每次去拿数据的时候都认为别人会修改,所以每次在拿数据时都会上锁,这样别人想拿这个数据就会block直到它拿到锁,传统的关系型数据库里边就用到了很多这种锁机制,比如行锁、表锁等,读锁,写锁等,都是在做操作之前就先上锁
10.4.3 乐观锁
每次去拿数据时都认为不修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号机制等。乐观锁适用于多度的应用类型,这样可以提供吞吐量。Redis就是利用这种check-and-set机制实现事务的。
10.4.4 WATCH key [key...]
执行multi之前,先执行watch key1 [key2],可以监视一个(或多个)key,如果在事务执行之前这个(或这些)key被其他命令所改动,那么事务将被打断
上面的事务先执行,下面的事务就被打断了
10.4.5 unwatch
取消watch命令对所有key的监视。
如果在执行watch命令之后,exec命令或者discard命令先被执行了的话,那么就不需要执行unwatch了
10.5 Redis事务的三特征
1.单独的隔离操作:事务中的所有命令都会被序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求打断。
2.没有隔离级别的概念:队列中的命令没有提交之前都不会实际地被执行,因为事务提交前任何指令都不会被实际执行
3.不保证原子性:事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚
十一、Redis持久化操作
11.1 Redis提供两个不同形式的持久化操作
- RDB(Redis DataBase)
- AOF(Append Of File)
11.2 RDB
在指定时间间隔内将内存中的数据集快照写入磁盘,也就是Snapshot快照,他恢复时是将快照文件直接读到内存里
11.2.1 备份是如何执行的
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那么RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
11.2.2 Fork
1.fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值和原进程一致,但是是一个全新的进程,并作为原进程的子程序
2.在linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,处于效率考虑,linux中引入了“写时复制技术”
3.一般情况父进程和子进程会共有同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程
11.2.3 优势
1.适合大规模数据恢复
2.对数据完整性和一致性要求不高更适合使用
3.节省磁盘空间
4.恢复速度快
11.2.4 劣势
1.fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑
2.虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能
3.备份周期一定时间间隔做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改
12 Redis持久化AOF
12.1 AOF(Append Only File)
12.1.1是什么
以日志的形式来记录每个写操作(增量保存),将redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
12.1.2 AOF持久化流程
1.客户端的请求写命令会被append追加到AOF缓冲区
2.AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中
3.AOF文件大小超过重写策略或手动重写时,会对AOF文件rewrite,压缩AOF文件容量
4.redis重启时,会重新load加载AOF文件中的写操作达到数据恢复的目的
12.1.3 AOF默认不开启
可以在redis.conf中配置文件名称,默认为appendonly.aof
AOF文件的保存路径,同RDB的路劲一样
12.1.4 AOF和RDB同时开启
AOF和RDB同时开启,系统默认取AOF的数据(数据不会丢失)
12.1.5 AOF启动/修复/恢复
1.AOF的备份机制和性能虽然和RDB不同,但是备份和恢复数据的操作一样,都是拷贝备份文件,需要恢复时再拷贝到Redis工作目录下,启动系统即加载。
2.正常恢复
(1) 修改默认的appendonly no 改为 yes
(2) 将有数据的aof文件复制一份保存到对应目录(查看目录:config get dir)
(3)重启redis然后重新加载
3.异常恢复
(1)修改默认的appendonly no,改为yes
(2)如遇到AOF文件损坏,通过/usr/local/bin/redis-check-aof --fix appendonly.aof进行恢复
(3)备份被写坏的AOF文件
(4)恢复:重启redis,然后重新加载
12.1.6 AOF同步频率设置
appendfsync always
始终同步,每次redis的写入都会立刻记入日志;性能比较差但数据完整性比较好
appendfsync everysec
每秒同步,每秒记入日志一次,如果宕机,本机的数据可能丢失
appendfsync no
redis不主动进行同步,把同步时机交给操作系统
12.1.7 优势
备份机制更稳健,丢失数据概率更低
可读的日志文件,通过操作AOF文件,可以处理误操作
12.1.8 劣势
比起RDB占用更多的磁盘空间
恢复备份速度要慢
每次读写都同步的话,有一定的性能压力
存在个别bug,造成恢复失败
13.Redis主从复制
13.1 是什么
主机数据更新后根据配置和策略,自动同步到备机master/slaver机制,master以写为主,slaver以读为主
13.2 能干嘛
1.读写分离,性能扩展
2.容灾快速恢复
13.3 怎么用(一主二仆)
1.在根目录创建一个文件夹/myredis
2.复制redis.conf配置文件到文件夹
3.配置一主两从,创建三个配置文件,redis6379.conf、redis6380.conf、redis.conf6381.conf
4.在三个配置文件中写入内容
先关闭redis.conf中的appendonly,将yes改为no
输入 vi redis6379.conf进行配置
同样方式配置redis6380.conf、redis.conf6381.conf
5.启动三台服务器
6.查看进程,看是否启动成功
7.查看三台主机运行情况
8.配从(库)不配主(库)
13.4 主从复制原理
1.slave启动成功连接到master后会发送一个sync命令
2.master接到命令启动后的存盘过程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕之后,master将传送整个数据文件到slave以完成一次完全同步
3.全量复制:而salve服务在接收到数据库文件数据后,将其存盘并加载到内存中
4.增量复制:master继续将新的所有收集到的修改命令依次传给slave完成同步
5.但是只要重新连接master,一次完全同步(全量复制)将被自动执行
14 redis集群
14.1什么是集群
Redis集群实现了对redis的水平扩容,即启动N个redis节点,将整个数据库分布存储在这N个节点中,每个节点存储总数据的1/N。
Redis集群通过分区(partition)来提供一定程度的可用性(availability):即使集群中有一部分节点失效或者无法进行通讯,集群也可以继续处理命令请求。
这段学习自行去B站上搜索,我电脑出问题了,这是redis的最后一部分。goodluck