mysql之物理备份Xtrabackup

一、物理备份Xtrabackup
1.安装
#上传文件包
[root@db03 ~]# rz  percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

#下载epel源
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-6.repo
#安装依赖
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#下载Xtrabackup
wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

#安装
[root@db03 ~]# yum localinstall -y percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
#安装好后的命令
[root@db03 ~]# xtrabackup
[root@db03 ~]# innobackupex
2.Xtrabackup备份
1）对于非innodb表（比如myisam）是直接锁表cp数据文件，属于一种温备。
2）对于innodb的表（支持事务），不锁表，cp数据页最终以数据文件方式保存下来，并且把redo和undo一并备走，属于热备方式。
3）备份时读取配置文件/etc/my.cnf（如果使用Xtrabackup备份，必须要配置datadir）
3.Xtrabackup全量备份
1）准备备份目录
[root@db03 ~]# mkdir /backup
2）备份(全备)
[root@db03 ~]# innobackupex --user=root --password=123 /backup/full

#去掉时间戳进行备份
[root@db03 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full
3）查看全备内容
[root@db03 ~]# ll /backup/full/
总用量 129052
-rw-r----- 1 root root 434 7月 23 08:51 backup-my.cnf
drwxr-x--- 2 root root 68 7月 23 08:51 dump
-rw-r----- 1 root root 79691776 7月 23 08:51 ibdata1
-rw-r----- 1 root root 52428800 7月 23 08:51 ibdata2
drwxr-x--- 2 root root 4096 7月 23 08:51 mysql
drwxr-x--- 2 root root 4096 7月 23 08:51 performance_schema
drwxr-x--- 2 root root 68 7月 23 08:51 row
drwxr-x--- 2 root root 20 7月 23 08:51 test
-rw-r----- 1 root root 21 7月 23 08:51 xtrabackup_binlog_info #记录binlog的信息
-rw-r----- 1 root root 113 7月 23 08:51 xtrabackup_checkpoints
-rw-r----- 1 root root 483 7月 23 08:51 xtrabackup_info #工具或数据的信息
-rw-r----- 1 root root 2560 7月 23 08:51 xtrabackup_logfile #redo-log

[root@db03 full]# cat xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 8417759
4.Xtrabackup全备恢复数据
1）删除所有数据库
mysql> drop database dump;

mysql> drop database performance_schema;

mysql> drop database row;

mysql> drop database test;
2）停止数据库
[root@db03 ~]# systemctl stop mysqld.service
3）手动模拟CSR的过程
#将redo进行重做，已提交的写到数据文件，未提交的使用undo回滚，模拟CSR的过程
[root@db03 ~]# innobackupex --user=root --password=123 --apply-log /backup/full
4）恢复数据
1>方法一：
#移走原数据目录
[root@db03 mysql]# mv data data.back

#将全备的数据目录迁移回来
[root@db03 mysql]# cp -r /backup/full ./data

[root@db03 mysql]# chown -R mysql.mysql data
2>方法二（推荐）：
#使用innobackupex恢复数据
[root@db03 mysql]# innobackupex ---back /backup/full/
[root@db03 mysql]# chown -R mysql.mysql data
5）启动数据库查看数据
#启动数据库
[root@db03 data]# systemctl start mysqld

[root@db03 data]# mysql -uroot -p123
mysql> show databases;
5.Xtrabackup增量备份
1.基于上一次备份进行增量
2.增量备份无法单独恢复，必须基于全备进行恢复
3.所有增量必须要按顺序合并到全备当中
1）先全备
[root@db03 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full_$(date +%F)
2）写入新数据
[root@db03 ~]# mysql -uroot -p123
mysql> use dump
mysql> insert dump values(10000),(20000),(30000);
3）第一次增备
[root@db01 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full_2020-07-23 /backup/inc1

参数说明:
--incremental：开启增量备份功能
--incremental-basedir：上一次备份的路径

#验证
[root@db03 ~]# cat /backup/full/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 8417759
[root@db03 ~]# cat /backup/inc1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 8417759
to_lsn = 8419281
4）再次写入数据
[root@db03 ~]# mysql -uroot -p123
mysql> use dump
mysql> insert dump values(100000),(200000),(300000);
5）第二次增备
[root@db03 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2

#验证
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 1636167

[root@db03 backup]# cat /backup/inc1/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1636167
to_lsn = 1640828

[root@db03 backup]# cat /backup/inc2/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 1640828
to_lsn = 1645877
6）再次写入数据
7）第三次增量备份
[root@db03 backup]# innobackupex --user=root --no-timestamp --incremental --incremental-basedir=/backup/inc2 /backup/inc3
6.Xtrabackup增量恢复数据
1）将全备执行redo
[root@db03 backup]# innobackupex --apply-log --redo-only /backup/full_2020-07-23
2）将第一次增备只执行redo并合并到第一次全备
[root@db03 backup]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1/ /backup/full_2020-07-23

#验证
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = log-applied
from_lsn = 0
to_lsn = 1640828 #该值本来是inc1的位置点
3）将第二次增备只执行redo并合并到第一次全备
[root@db03 backup]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc2/ /backup/full_2020-07-23

#验证
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = log-applied
from_lsn = 0
to_lsn = 1645877 #该值本来是inc2的位置点
4）将最后一次增备执行redo和undo并合并到第一次全备
[root@db03 backup]# innobackupex --apply-log --incremental-dir=/backup/inc3/ /backup/full_2020-07-23

#验证
[root@db03 backup]#
[root@db03 backup]# cat /backup/full_2020-07-23/xtrabackup_checkpoints
backup_type = full-prepared
from_lsn = 0
to_lsn = 1649869
5）将整体数据进行一次CSR
[root@db03 backup]# innobackupex --apply-log /backup/full_2020-07-23/
6）恢复数据
[root@db03 mysql]# mv data data.bak
[root@db03 mysql]# innobackupex ---back /backup/full_2020-07-23/
[root@db03 mysql]# chown -R mysql.mysql data
[root@db03 mysql]# systemctl start mysqld
7.总结
1.增备：
优点：占用磁盘空间小，没有重复数据
缺点：恢复麻烦

2.全备：
优点：恢复只需一次
缺点：占用磁盘空间，每次全备都有重复数据
8.企业及增量恢复实战
要求

企业级增量恢复实战

背景：
某大型网站，mysql数据库，数据量500G，每日更新量100M-200M

备份策略：
xtrabackup，每周六0:00进行全备，周一到周五及周日00:00进行增量备份。

故障场景：
周三下午2点出现数据库意外删除表操作。
思路

# 数据恢复流程
1. 将周六全备执行redo
2. 将周日增备只执行redo并合并到周六全备
3. 将周一增备只执行redo并合并到周六全备
4. 将周二增备执行redo和undo并合并到周六全备
5. 将合并到周六的数据整体执行一次CSR
6. 通过binlog日志将周三0：00-14:00数据导出
7. 通过xtrabackup将数据恢复
8. 将binlog日志导入数据库
环境模拟

主机名 ip 角色
db01 172.16.1.51 数据库服务器
环境准备

# 0.前期工具准备：
[root@db01 ~]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
[root@db01 ~]# yum localinstall -y percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
注：（下载方式）
wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

# 1. 模拟创建大型网站500G数据
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| student |
| test |
| world |
+--------------------+

# 2.准备备份目录
[root@db01 ~]# mkdir /backup

# 3. 通过xtrabackup工具执行全量备份
[root@db01 ~]# innobackupex --user=root --no-timestamp /backup/full

# 4. 查看备份全量文件
[root@db01 backup]# ll /backup/full/
total 12316
-rw-r----- 1 root root 418 Jul 23 15:00 backup-my.cnf
-rw-r----- 1 root root 12582912 Jul 23 15:00 ibdata1
drwxr-x--- 2 root root 4096 Jul 23 15:00 mysql
drwxr-x--- 2 root root 4096 Jul 23 15:00 performance_schema
drwxr-x--- 2 root root 58 Jul 23 15:00 student
drwxr-x--- 2 root root 20 Jul 23 15:00 test
drwxr-x--- 2 root root 144 Jul 23 15:00 world
-rw-r----- 1 root root 24 Jul 23 15:00 xtrabackup_binlog_info
-rw-r----- 1 root root 113 Jul 23 15:00 xtrabackup_checkpoints
-rw-r----- 1 root root 471 Jul 23 15:00 xtrabackup_info
-rw-r----- 1 root root 2560 Jul 23 15:00 xtrabackup_logfile

# 5. 查看备份类型及备份点
[root@db01 full]# cat xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 2588601
last_lsn = 2588601
compact = 0
recover_binlog_info = 0

# 6. 模拟周日写入数据
mysql> select * from tcy;
+------+--------------+
| id | name |
+------+--------------+
| 77 | 周日数据 |
+------+--------------+

# 7. 对周日数据执行增量备份
[root@db01 backup]# innobackupex --user=root --no-timestamp --incremental --incremental-basedir=/backup/full /backup/sunday

# 8. 查看备份数据类型及数据点
[root@db01 backup]# cat /backup/sunday/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 2588601
to_lsn = 2595794
last_lsn = 2595794
compact = 0
recover_binlog_info = 0

# 9. 模拟周一数据写入
mysql> select * from tcy;
+------+--------------+
| id | name |
+------+--------------+
| 77 | 周日数据 |
| 11 | 周一数据 |
+------+--------------+
2 rows in set (0.00 sec)

# 10.模拟对周一数据执行增量备份
[root@db01 backup]# innobackupex --user=root --no-timestamp --incremental --incremental-basedir=/backup/sunday /backup/monday

# 11.查看备份数据数据类型及数据点
[root@db01 backup]# cat /backup/monday/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 2595794
to_lsn = 2596831
last_lsn = 2596831
compact = 0
recover_binlog_info = 0

# 12.模拟周二数据写入
mysql> select * from tcy;
+------+--------------+
| id | name |
+------+--------------+
| 77 | 周日数据 |
| 11 | 周一数据 |
| 22 | 周二数据 |
+------+--------------+
3 rows in set (0.00 sec)

# 13. 对周二数据执行增量备份
[root@db01 backup]# innobackupex --user=root --no-timestamp --incremental --incremental-basedir=/backup/monday /backup/tuesday

# 14. 查看备份数据类型及数据点
[root@db01 backup]# cat /backup/tuesday/xtrabackup_checkpoints
backup_type = incremental
from_lsn = 2596831
to_lsn = 2597868
last_lsn = 2597868
compact = 0
recover_binlog_info = 0

# 15. 模拟周三数据写入
mysql> select * from tcy;
+------+--------------+
| id | name |
+------+--------------+
| 77 | 周日数据 |
| 11 | 周一数据 |
| 22 | 周二数据 |
| 33 | 周三数据 |
+------+--------------+

# 16. 模拟故障（对表和库进行删除）
mysql> drop table tcy;
mysql> drop database student;
备份数据找回

# 1.全备数据redo找回（只执行redo）
[root@db01 backup]# innobackupex --apply-log --redo-only /backup/full

# 2. 将周日增备份放入到周六全备中（只执行redo）
[root@db01 backup]# innobackupex --apply-log --redo-only --incremental-dir=/backup/sunday /backup/full

# 3. 将周一增备放入周六全备中（只执行redo）
[root@db01 backup]# innobackupex --apply-log --redo-only --incremental-dir=/backup/monday /backup/full

# 4. 将周二增倍放入周六全备中（执行undo和redo）
[root@db01 backup]# innobackupex --apply-log --incremental-dir=/backup/tuesday /backup/full

# 5.将整体数据进行一次CSR
[root@db01 data]# innobackupex --apply-log /backup/full

# 6. 将binlog中00：00-14:00数据导出
[root@db01 data]# mysqlbinlog -uroot --start-position=790602 --stop-position=790754 mysql-bin.000001 > /tmp/tuesday.sql

# 7.将原本/usr/mysql/data目录进行移动备份
[root@db01 mysql]# mv data data.bak

# 8. 通过xtrabackup将数据恢复
[root@db01 mysql]# innobackupex ---back /backup/full

# 9. 服务启动
[root@db01 mysql]# chown -R mysql.mysql data
[root@db01 mysql]# systemctl restart mysqld

# 10.查看通过增量和差异导入数据
mysql> select * from tcy;
+------+--------------+
| id | name |
+------+--------------+
| 77 | 周日数据 |
| 11 | 周一数据 |
| 22 | 周二数据 |
+------+--------------+
3 rows in set (0.00 sec)

# 11.通过binlog将周三数据找回
mysql> source /tmp/tuesday.sql

# 12.查看数据是否完整
mysql> select * from tcy;
+------+--------------+
| id | name |
+------+--------------+
| 77 | 周日数据 |
| 11 | 周一数据 |
| 22 | 周二数据 |
| 33 | 周三数据 |
+------+--------------+
4 rows in set (0.00 sec)

原文链接：https://blog.csdn.net/zerotoall/article/details/141925638