mysql备份与恢复
一，mysql日志
1.mysql日志类型
日志类型与作用：
1.redo 重做日志：达到事务一致性（每次重启会重做）
作用：确保日志的持久性，防止在发生故障，脏页未写入磁盘。重启数据库会进行redo log执行重做，达到事务一致性；
2.undo 回滚日志
作用：保证数据的原子性，记录事务发生之前的一个版本，用于回滚，innodb事务可重复读和读取已提交 隔离级别就是通过mvcc+undo实现；
3.errorlog 错误日志
作用：Mysql本身启动，停止，运行期间发生的错误信息；
4.slow query log 慢查询日志
作用：记录执行时间过长的sql，时间阈值（10s）可以配置，只记录执行成功
另一个作用：在于提醒优化；
5.bin log 二进制日志
作用：用于基于日志形式的数据恢复，用于主从复制，实现主从同步
记录的内容是：数据库中执行的sql语句；
6.relay log 中继日志
作用：用于数据库主从同步，将主库发来的bin log保存在本地，然后从库进行回放；
7.general log 普通日志
作用：记录数据库的操作明细，默认关闭，开启后会降低数据库性能；
2.开启mysql日志
vim /etc/my.cnf
[mysqld]
错误日志，用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启
指定错误日志的保存位置和文件名
log-error=/usr/local/mysql/data/mysql_error.log
通用查询日志，用来记录MySQL的所有连接和语句，默认是关闭的
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
二进制日志(binlog)，用来记录所有更新了数据或者已经潜在更新了数据的语句，记录了数据的更改，可用于数据恢复，默认已开启
log-bin=mysql-bin
#也可以 log_bin=mysql-bin
慢查询日志，用来记录所有执行时间超过long_query_time秒的语句，可以找到哪些查询语句执行时间长，以便于优化，默认是关闭的
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5 #设置超过5秒执行的语句被记录，缺省时为10秒
systemctl restart mysqld.service
3.验证日志是否开启
查看通用查询日志是否开启：
show variables like 'general%';
查看二进制日志是否开启：
show variables like 'log_bin%';
查看慢查询日志相关功能：
查看慢查询日志功能是否开启：
show variables like '%slow%';
查看慢查询时间设置：
show variables like 'long_query_time';
二，mysql备份重要性，分类及方法
1.备份的重要性
1、备份的主要目的是灾难恢复
2、在生产环境中，数据的安全性至关重要
3、任何数据的丢失都可能产生严重的后果
造成数据丢失的原因：
1.程序错误
2.人为操作错误
3.运算错误
4.磁盘故障
5.灾难 (如火灾、地震) 和盗窃
2.分类
1，物理备份
数据库备份可以分为物理备份和逻辑备份。物理备份是对数据库操作系统的物理文件（如数据文件、日志文件等）的备份。
这种类型的备份适用于在出现问题的时候需要快速恢复的大型重要数据库。
物理备份分类：
冷备份 (脱机备份) ：是在关闭数据库的时候进行的（tar）
热备份 (联机备份) ：数据库处于运行状态，依赖于数据库的日志文件（mysqlhotcopy mysqlbackup 第三方工具）
温备份 ：数据库锁定表格(不可写入但可读)的状态下进行备份操（mysqldump）
２，逻辑备份
逻辑备份是对数据库逻辑组件的备份.表示为逻辑数据库结构
这种类型的备份适用于可以编辑数据值或表结构
从数据库的备份策略角度来看分为：
1）完全备份
每次对数据进行完整备份，即对整个数据库、数据库结构和文件结构的备份，保存的是备份完成时刻的数据库，
是差异备份与增量备份的基础完全备份的备份与恢复操作都非常简单方便，但是数据存在大量的重复并且会占用大量的磁盘空间，备份的时间也很长
2）差异备份
备份那些自从上次完全备份之后被修改过的所有文件，备份的时间节点是从上次完整备份起，备份数据量会越来越大。
恢复数据时只需要恢复上次的完全备份与最佳的一次差异备份
起始点：上一次完备
3）增量备份
只有那些在上次完全备份或者增量备份后被修改的文件才会被备份,以上次完整备份或上次增量备份的时间为时间点，
仅备份期间内的数据变化，因而备份的数据量小，占用空间小，备份速度快。
缺点：
恢复时，需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复，如中间某次的备份数据损坏，将导致数据的丢失
起始点：上一次完备或增量备份
3.方法
1、物理冷备------完全备份
备份时数据库处于关闭状态，直接打包数据库文件（tar）
备份速度快，恢复时也是最简单的
缺陷：数据的实时性较差，不能在业务正常运行时进行tar备份 -》服务停止的时候(否则可能产生数据丢失的情况)
2、专用备份工具 mysqldump 或 mysqlhotcopy
mysqldump 常用的逻辑备份工具（mysql自带）
mysqlhotcopy 仅拥有备份 MyISAM 和 ARCHIVE 表
3、启用二进制日志进行增量备份
进行增量备份，需要刷新二进制日志
4、第三方工具备份
免费的MySQL 热备份软件 Percona XtraBackup mysqlbackup
三，mysql完全备份与恢复
1.数据库冷备份与恢复及完全备份与恢复
物理冷备份与恢复
systemctl stop mysqld
yum -y install xz #xz是一个压缩工具
#压缩备份
tar jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#解压恢复
tar jxvf /opt/mysql_all_2021-02-05.tar.xz -C /usr/local/mysql/data
systemctl start mysqld
2.mysqldump备份
mysqldump 备份与恢复（温备份）
(1)、完全备份一个或多个完整的库 (包括其中所有的表)
mysqldump -u root -p[密码] --databases 库名1 [库名2] ... > /备份路径/备份文件名.sql #导出的就是数据库脚本文件
例:
mysqldump -u root -p --databases SCHOOL > /opt/SCHOOL.sql #备份一个kgc库
mysqldump -u root -p --databases mysql SCHOOL > /opt/mysql-SCHOOL.sql #备份mysql与 kgc两个库
(2)、完全备份 MySQL 服务器中所有的库
mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --all-databases > /opt/all.sql
(3)、完全备份指定库中的部分表
mysqldump -u root -p[密码] 库名 [表名1] [表名2] ... > /备份路径/备份文件名.sql
例:
mysqldump -u root -p [-d] SCHOOL info > /opt/SCHOOL_info.sql
#使用“-d”选项，说明只保存数据库的表结构
#不使用“-d"选项，说明表数据也进行备份
#做为一个表结构模板
(4)查看备份文件
grep -v "^--" /opt/SCHOOL_info.sql | grep -v "^/" | grep -v "^$"
3.mysql完全恢复
1、恢复数据库
#“-e”选项，用于指定连接 MySQL 后执行的命令，命令执行完后自动退出
mysql -u root -p -e 'drop database SCHOOL;'
mysql -u root -p -e 'show databases;'
mysql -u root -p < /opt/SCHOOL.sql
mysql -u root -p -e 'show databases;'
2、恢复数据表
当备份文件中只包含表的备份，而不包含创建的库的语句时，执行导入操作时必须指定库名，且目标库必须存在。
mysql -u root -p -e 'drop table SCHOOL.info;'
mysql -u root -p -e 'show tables from SCHOOL;'
mysql -u root -p SCHOOL < /opt/SCHOOL_info.sql
mysql -u root -p -e 'show tables from SCHOOL;'
四，mysql增量备份与恢复
1.mysql增量备份
1、开启二进制日志功能
vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
server-id = 1
binlog_format = MIXED #指定二进制日志(binlog)的记录格式为 MIXED
#二进制日志(binlog)有3种不同的记录格式：STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式)，默认格式是STATEMENT
systemctl restart mysqld.service
ls -l /usr/local/mysql/data/mysql-bin.*
2.对数据库进行完全备份
这种定时任务可以结合crontab -e 计划性任务来执行
#手动执行备份
mysqldump -u root -p SCHOOL info > /opt/SCHOOL_info_$(date +%F).sql
mysqldump -u root -p --all-databases > /opt/allmysql_$(date +%F).sql
#使用crontab -e 计划性任务来执行；每周1凌晨2点对表info和所有的库进行备份
0 2 * * 1 mysqldump -u root -p SCHOOL info > /opt/SCHOOL_info_$(date +%F).sql
0 2 * * 1 mysqldump -u root -p --all-databases > /opt/allmysql_$(date +%F).sql
3.查看二进制日志文件的内容
cp /usr/local/mysql/data/mysql-bin.000002 /opt/
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#--base64-output=decode-rows：使用64位编码机制去解码并按行读取
#-v：显示详细内容
4.可每天进行增量备份操作，生成新的二进制日志文件
mysqladmin -u root -p flush-logs
ll /usr/local/mysql/data/
插入新数据：
insert into info values (3,'C',1000);
insert into info values (4,'D',900);
select * from info;
查看新生成的二进制文件：
mysqladmin -u root -p flush-logs
ll /usr/local/mysql/data/
4.mysql增量恢复
1.一般恢复
模拟丢失更改的数据的恢复步骤：
删除表中数据，基于bin.000002日志进行恢复；
delete from info where id=3;
delete from info where id=4;
select * from info;
mysqlbinlog --no-defaults /usr/local/mysql/data/mysql-bin.000002 | mysql -u root -p
mysql -u root -p -e "select * from SCHOOL.info;"
模拟丢失所有数据的恢复步骤：
删除表，导入增量备份文件，基于二进制文件恢复
mysql -u root -p SCHOOL < /opt/SCHOOL_info_2022-04-10.sql
mysqlbinlog --no-defaults /usr/local/mysql/data/mysql-bin.000002 | mysql -u root -p
mysql -u root -p -e "select * from SCHOOL.info;"
2.断点恢复
1.基于位置恢复
仅恢复位置点302之前的数据：
mysql -u root -p SCHOOL < /opt/SCHOOL_info_2022-04-10.sql
mysql -u root -p -e "select * from SCHOOL.info;"
mysqlbinlog --no-defaults --stop-position='302' /opt/mysql-bin.000002 | mysql -uroot -p
mysql -u root -p -e "select * from SCHOOL.info;"
仅恢复id=6的数据，跳过id=5的数据
mysql -u root -p SCHOOL < /opt/SCHOOL_info_2022-04-10.sql
mysql -u root -p -e "select * from SCHOOL.info;"
mysqlbinlog --no-defaults --start-position='595' /opt/mysql-bin.000002 | mysql -uroot -p
mysql -u root -p -e "select * from SCHOOL.info;"
2.基于时间点恢复
仅恢复时间220410 21:32:12之前的数据：
mysql -u root -p SCHOOL < /opt/SCHOOL_info_2022-04-10.sql
mysql -u root -p -e "select * from SCHOOL.info;"
mysqlbinlog --no-defaults --stop-datetime='22-04-10 21:32:12' /opt/mysql-bin.000002 | mysql -uroot -p
mysql -u root -p -e "select * from SCHOOL.info;"
仅恢复id为6 ，跳过id为5 的数据：
mysql -u root -p SCHOOL < /opt/SCHOOL_info_2022-04-10.sql
mysql -u root -p -e "select * from SCHOOL.info;"
mysqlbinlog --no-defaults --start-datetime='22-04-10 21:32:19' /opt/mysql-bin.000002 | mysql -uroot -p
mysql -u root -p -e "select * from SCHOOL.info;"
