数据持久化
数据持久化
一持久化定义
将数据从掉电易失的内存放到永久存储的设备上
二为什么需要持久化
因为所有的数据都在内存上,所以必须得持久化
一数据持久化分类之 - RDB模式（默认开启）
(一)默认模式
1、保存真实的数据
2、将服务器包含的所有数据库数据以二进制文件的形式保存到硬盘里面
3、默认文件名 ：/var/lib/redis/dump.rdb
(二)创建rdb文件的两种方式
方式一:服务器执行客户端发送的SAVE或者BGSAVE命令
127.0.0.1:6379> SAVE OK # 特点 1、执行SAVE命令过程中，redis服务器将被阻塞，无法处理客户端发送的命令请求，在SAVE命令执行完毕后，服务器才会重新开始处理客户端发送的命令请求 2、如果RDB文件已经存在，那么服务器将自动使用新的RDB文件代替旧的RDB文件 # 工作中定时持久化保存一个文件 127.0.0.1:6379> BGSAVE Background saving started # 执行过程如下 1、客户端 发送 BGSAVE 给服务器 2、服务器马上返回 Background saving started 给客户端 3、服务器 fork() 子进程做这件事情 4、服务器继续提供服务 5、子进程创建完RDB文件后再告知Redis服务器 # 配置文件相关操作 /etc/redis/redis.conf 263行: dir /var/lib/redis # 表示rdb文件存放路径 253行: dbfilename dump.rdb # 文件名 # 两个命令比较 SAVE比BGSAVE快，因为需要创建子进程，消耗额外的内存 # 补充：可以通过查看日志文件来查看redis都做了哪些操作 # 日志文件：配置文件中搜索 logfile logfile /var/log/redis/redis-server.log
方式二:设置配置文件条件满足时自动保存(使用最多)
# 命令行示例 redis>save 300 10 表示如果距离上一次创建RDB文件已经过去了300秒，并且服务器的所有数据库总共已经发生了不少于10次修改，那么自动执行BGSAVE命令 redis>save 60 10000 表示如果距离上一次创建rdb文件已经过去60秒，并且服务器所有数据库总共已经发生了不少于10000次修改，那么执行bgsave命令 # redis配置文件默认 218行: save 900 1 219行: save 300 10 220行: save 60 10000 1、只要三个条件中的任意一个被满足时，服务器就会自动执行BGSAVE 2、每次创建RDB文件之后，服务器为实现自动持久化而设置的时间计数器和次数计数器就会被清零，并重新开始计数，所以多个保存条件的效果不会叠加
三数据持久化分类之 - AOF（AppendOnlyFile，默认未开启）
(一)特点
1、存储的是命令，而不是真实数据 2、默认不开启 # 开启方式（修改配置文件） 1、/etc/redis/redis.conf 672行: appendonly yes # 把 no 改为 yes 676行: appendfilename "appendonly.aof" 2、重启服务 sudo /etc/init.d/redis-server restart
(二)RDB缺点
1、创建RDB文件需要将服务器所有的数据库的数据都保存起来，这是一个非常消耗资源和时间的操作，所以服务器需要隔一段时间才创建一个新的RDB文件，也就是说，创建RDB文件不能执行的过于频繁，否则会严重影响服务器的性能
2、可能丢失数据
(三)AOF持久化原理及优点
# 原理 1、每当有修改数据库的命令被执行时，服务器就会将执行的命令写入到AOF文件的末尾 2、因为AOF文件里面存储了服务器执行过的所有数据库修改的命令，所以给定一个AOF文件，服务器只要重新执行一遍AOF文件里面包含的所有命令，就可以达到还原数据库的目的 # 优点 用户可以根据自己的需要对AOF持久化进行调整，让Redis在遭遇意外停机时不丢失任何数据，或者只丢失一秒钟的数据，这比RDB持久化丢失的数据要少的多
(四)安全性问题考虑
# 因为 虽然服务器执行一个修改数据库的命令，就会把执行的命令写入到AOF文件，但这并不意味着AOF文件持久化不会丢失任何数据，在目前常见的操作系统中，执行系统调用write函数，将一些内容写入到某个文件里面时，为了提高效率，系统通常不会直接将内容写入硬盘里面，而是将内容放入一个内存缓存区（buffer）里面，等到缓冲区被填满时才将存储在缓冲区里面的内容真正写入到硬盘里 # 所以 1、AOF持久化：当一条命令真正的被写入到硬盘里面时，这条命令才不会因为停机而意外丢失 2、AOF持久化在遭遇停机时丢失命令的数量，取决于命令被写入到硬盘的时间 3、越早将命令写入到硬盘，发生意外停机时丢失的数据就越少，反之亦然
(五)策略 - 配置文件
# 打开配置文件:/etc/redis/redis.conf，找到相关策略如下 1、701行: alwarys 服务器每写入一条命令，就将缓冲区里面的命令写入到硬盘里面，服务器就算意外停机，也不会丢失任何已经成功执行的命令数据 2、702行: everysec（# 默认） 服务器每一秒将缓冲区里面的命令写入到硬盘里面，这种模式下，服务器即使遭遇意外停机，最多只丢失1秒的数据 3、703行: no 服务器不主动将命令写入硬盘,由操作系统决定何时将缓冲区里面的命令写入到硬盘里面，丢失命令数量不确定 # 运行速度比较 always：速度慢 everysec和no都很快，默认值为everysec
(六)AOF文件中是否会产生很多的冗余命令？
为了让AOF文件的大小控制在合理范围，避免胡乱增长，redis提供了AOF重写功能，通过这个功能，服务器可以产生一个新的AOF文件 -- 新的AOF文件记录的数据库数据和原由的AOF文件记录的数据库数据完全一样 -- 新的AOF文件会使用尽可能少的命令来记录数据库数据，因此新的AOF文件的提及通常会小很多 -- AOF重写期间，服务器不会被阻塞，可以正常处理客户端发送的命令请求
示例:
| 原有AOF文件 | 重写后的AOF文件 |
|---|---|
| select 0 | SELECT 0 |
| sadd myset peiqi | SADD myset peiqi qiaozhi danni lingyang |
| sadd myset qiaozhi | |
| sadd myset danni | |
| sadd myset lingyang | |
| INCR number | |
| INCR number | |
| DEL number | |
| SET message 'hello world' | SET msg 'hello tarena' |
| SET message 'hello tarena' | |
| RPUSH mylist 1 2 3 | RPUSH mylist 2 3 5 |
| RPUSH mylist 5 | |
| LPOP mylist |
(七)文件重写方法触发
1、客户端向服务器发送BGREWRITEAOF命令 127.0.0.1:6379> BGREWRITEAOF Background append only file rewriting started 2、修改配置文件让服务器自动执行BGREWRITEAOF命令 auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb # 解释 1、只有当AOF文件的增量大于100%时才进行重写，也就是大一倍的时候才触发 # 第一次重写新增：64M # 第二次重写新增：128M # 第三次重写新增：256M（新增128M）
(八)RDB和AOF持久化对比
| RDB持久化 | AOF持久化 |
|---|---|
| 全量备份，一次保存整个数据库 | 增量备份，一次保存一个修改数据库的命令 |
| 保存的间隔较长 | 保存的间隔默认为一秒钟 |
| 数据还原速度快 | 数据还原速度一般，冗余命令多，还原速度慢 |
| 执行SAVE命令时会阻塞服务器，但手动或者自动触发的BGSAVE不会阻塞服务器 | 无论是平时还是进行AOF重写时，都不会阻塞服务器 |
| 更适合数据备份 | 更适合用来保存数据，通常意义上的数据持久化，在appendfsync always模式下运行 |
# 用redis用来存储真正数据，每一条都不能丢失，都要用always，有的做缓存，有的保存真数据，我可以开多个redis服务，不同业务使用不同的持久化，新浪每个服务器上有4个redis服务，整个业务中有上千个redis服务，分不同的业务，每个持久化的级别都是不一样的。
(九)数据回复
既有dump.rdb,又有appendonly.aof,恢复时找谁?
先找appendonly.aof
(十)配置文件常用配置总结
# 设置密码 1、requirepass password # 开启远程连接 2、bind 127.0.0.1 ::1 注释掉 3、protected-mode no 把默认的yes改为no# rdb持久化-默认配置 4、dir /var/lib/redis 5、dbfilename 'dump.rdb' # rdb持久化-自动触发 save 900 1 save 300 10 save 60 10000 # aof持久化开启 appendonly yes appendfilename "appendonly.aof" # aof持久化策略 appendfsync alwarys appendfsync everysec #默认 appendfsync no # aof重写触发 auto-aof-rewrite-percentage 100 #超过百分比触发 auto-aof-rewrite-min-size 64mb #超过大小
(十一)Redis相关文件存放路径
1.配置文件: /etc/redis/redis.conf
2.备份文件: /var/lib/redis/*.rdb|*.aof
3.日志文件: /var/log/redis/redis-server.log
4.启动文件: /etc/init.d/redis-server
# /etc/下存放配置文件
# /etc/init.d/下存放服务启动文件
