十六、mysql的备份与恢复(三)--xtrabackup(XBK、Xbackup)
xtrabackup为第三方的物理备份工具,percona公司研发,支持全备和增量备份。
一、xtrabackup的安装
#1、安装epel源和依赖包 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev #2、下载软件并安装 #centos7 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm #centos6 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
备份命令
xtrabackup innobackupex ****** 建议使用 [root@vm01 ~]# innobackupex --version xtrabackup: recognized server arguments: --datadir=/data/mysql --server-id=201 --log_bin=mysql-bin innobackupex version 2.4.12 Linux (x86_64) (revision id: 170eb8c) #innobackupex会自动记录mysql的一些参数信息
物理备份
(1)对于非Innodb表(比如 myisam)是,锁表cp数据文件,属于一种温备份。 (2)对于Innodb的表(支持事务的),不锁表,拷贝数据页,最终以数据文件的方式保存下来,把一部分redo和undo一并备走,属于热备方式。
1、xbk备份执行的瞬间,立即触发ckpt,已提交的数据脏页,从内存刷写到磁盘,并记录此时的LSN号 2、备份时,拷贝磁盘数据页,并且记录备份过程中产生的redo和undo一起拷贝走,也就是checkpoint LSN之后的日志 3、在恢复之前,模拟Innodb“自动故障恢复”的过程,将redo(前滚)与undo(回滚)进行应用 4、恢复过程是cp 备份到原来数据目录下
1、全备
[root@vm01 backup]# innobackupex --user=root --password=123 /data/backup &>/tmp/innobackup_full.log [root@vm01 backup]# ls 2020-12-01_05-33-01 [root@vm01 backup]# tail -5 /tmp/innobackup_full.log 201201 05:33:03 [00] ...done 201201 05:33:03 [00] Writing /data/backup/2020-12-01_05-33-01/xtrabackup_info 201201 05:33:03 [00] ...done xtrabackup: Transaction log of lsn (3712731) to (3712740) was copied. 201201 05:33:03 completed OK! #/data/backup为备份路径
自主定制备份路径名
[root@vm01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/backup/full &>/tmp/full.log [root@vm01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/backup/full &>/tmp/full.log [root@vm01 backup]# ls 2020-12-01_05-33-01 full [root@vm01 backup]# tail -5 /tmp/full.log 201201 05:34:53 [00] ...done 201201 05:34:53 [00] Writing /data/backup/full/xtrabackup_info 201201 05:34:53 [00] ...done xtrabackup: Transaction log of lsn (3712731) to (3712740) was copied. 201201 05:34:53 completed OK!
源数据目录 [root@vm01 backup]# ll /data/mysql/ total 122940 -rw-r----- 1 mysql mysql 56 Nov 28 08:01 auto.cnf -rw-r----- 1 mysql mysql 315 Nov 30 22:43 ib_buffer_pool -rw-r----- 1 mysql mysql 12582912 Dec 1 03:16 ibdata1 -rw-r----- 1 mysql mysql 50331648 Dec 1 03:16 ib_logfile0 -rw-r----- 1 mysql mysql 50331648 Nov 28 08:01 ib_logfile1 -rw-r----- 1 mysql mysql 12582912 Dec 1 05:34 ibtmp1 drwxr-x--- 2 mysql mysql 4096 Nov 28 08:01 mysql -rw-r----- 1 mysql mysql 1998 Dec 1 05:31 mysql-bin.000001 -rw-r----- 1 mysql mysql 19 Dec 1 03:15 mysql-bin.index drwxr-x--- 2 mysql mysql 8192 Nov 28 08:01 performance_schema drwxr-x--- 2 mysql mysql 8192 Nov 28 08:01 sys -rw-r----- 1 mysql mysql 6 Nov 30 22:43 vm01.pid drwxr-x--- 2 mysql mysql 20 Dec 1 05:25 ywx
备份目录文件 [root@vm01 backup]# ll /data/backup/full/ total 12340 -rw-r----- 1 root root 489 Dec 1 05:34 backup-my.cnf -rw-r----- 1 root root 315 Dec 1 05:34 ib_buffer_pool -rw-r----- 1 root root 12582912 Dec 1 05:34 ibdata1 drwxr-x--- 2 root root 4096 Dec 1 05:34 mysql drwxr-x--- 2 root root 8192 Dec 1 05:34 performance_schema drwxr-x--- 2 root root 8192 Dec 1 05:34 sys -rw-r----- 1 root root 63 Dec 1 05:34 xtrabackup_binlog_info -rw-r----- 1 root root 113 Dec 1 05:34 xtrabackup_checkpoints -rw-r----- 1 root root 559 Dec 1 05:34 xtrabackup_info -rw-r----- 1 root root 2560 Dec 1 05:34 xtrabackup_logfile drwxr-x--- 2 root root 20 Dec 1 05:34 ywx
备份目录比源目录多了一下文件
-rw-r----- 1 root root 63 Dec 1 05:34 xtrabackup_binlog_info -rw-r----- 1 root root 113 Dec 1 05:34 xtrabackup_checkpoints -rw-r----- 1 root root 559 Dec 1 05:34 xtrabackup_info -rw-r----- 1 root root 2560 Dec 1 05:34 xtrabackup_logfile xtrabackup_binlog_info :(备份时刻的binlog位置) [root@vm01 full]# cat xtrabackup_binlog_info mysql-bin.000001 1998 e271e770-310c-11eb-b220-000c29d16f12:1-9 记录的是备份时刻,binlog的文件名字和当时的结束的position,可以用来作为截取binlog时的起点。 [root@vm01 full]# cat xtrabackup_checkpoints xtrabackup_checkpoints : backup_type = full-backuped from_lsn = 0 上次所到达的LSN号(对于全备就是从0开始,对于增量有别的显示方法) to_lsn = 3712731 备份开始时间(ckpt)点数据页的LSN last_lsn = 3712740 备份结束后,redo日志最终的LSN compact = 0 recover_binlog_info = 0 (1)备份时刻,立即将已经commit过的,内存中的数据页刷新到磁盘(CKPT).开始备份数据,数据文件的LSN会停留在to_lsn位置。 (2)备份时刻有可能会有其他的数据写入,已备走的数据文件就不会再发生变化了。 (3)在备份过程中,备份软件会一直监控着redo的undo,如果一旦有变化会将日志也一并备走,并记录LSN到last_lsn。 从to_lsn ----》last_lsn 就是,备份过程中产生的数据变化. (4) 在备份过程中,mysql5.7中xtrabackup会占用9个LSN。及备份过程中不发生新的数据变化,last_lsn比to_lsn多9;mysql5.6为last_lsn=to_lsn
准备备份(Prepared)
将redo进行重做,已提交的写到数据文件,未提交的使用undo回滚掉。模拟了CSR的过程
[root@vm01 full]# innobackupex --apply-log /backup/full
前提: 1、被恢复的目录是空 2、被恢复的数据库的实例是关闭 systemctl stop mysqld
创建新目录
[root@vm01 full]# mkdir /data/mysql1
数据授权
chown -R mysql.mysql /data/mysql1
innobackupex --copy-back /backup/full/* /data/mysql 或 copy -a /backup/full/* /data/mysql chown -R mysql.mysql /data/*
启动数据库
[root@vm01 full]# chown -R mysql.mysql /data/mysql1 [root@vm01 full]# systemctl start mysqld
将数据备份回原始位子,可以用copy -a或mv替代,需要注意文件的权限。
1、增量备份注意事宜
(1)增量备份的方式,是基于上一次备份进行增量。 (2)增量备份无法单独恢复。必须基于全备进行恢复。 (3)所有增量必须要按顺序合并到全备中。
(1)删掉上次实验的备份 rm -rf /backup/* (2)全备(周日) innobackupex --user=root --password=123 --no-timestamp /data/backup/full &>/tmp/xbk_full.log (3)模拟周一数据变化 create database cs charset utf8; use cs create table t1 (id int); insert into t1 values(1),(2),(3); commit; (4)第一次增量备份(周一) innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/backup/full /data/backup/inc1 &>/tmp/inc1.log (5)模拟周二数据 create table t2 (id int); insert into t2 values(1),(2),(3); commit; (6)周二增量 innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/data/backup/inc1 /data/backup/inc2 &>/tmp/inc2.log (7)模拟周三数据变化 create table t3 (id int); insert into t3 values(1),(2),(3); commit; drop database cs;
恢复到周三误drop之前的数据状态
恢复思路: 1. 挂出维护页,停止当天的自动备份脚本 2. 检查备份:周日full+周一inc1+周二inc2,周三的完整二进制日志 3. 进行备份整理(细节),截取关键的二进制日志(从备份——误删除之前) 4. 测试库进行备份恢复及日志恢复 5. 应用进行测试无误,开启业务 6. 此次工作的总结
恢复过程
1、关闭数据库 systemctl stop mysqld 2. 备份整理(apply-log)+合并备份(full+inc1+inc2) (1) 全备的整理 [root@vm01 ~]# innobackupex --apply-log --redo-only /data/backup/full (2) 合并inc1到full中 [root@vm01 ~]# innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1 /data/backup/full (3) 合并inc2到full中 [root@vm01 ~]# innobackupex --apply-log --incremental-dir=/data/backup/inc2 /data/backup/full (4) 最后一次整理全备 [root@vm01 ~]# innobackupex --apply-log /data/backup/full 3. 截取周二 23:00 到drop 之前的 binlog 查看最后一个增量备份的rabackup_binlog_info文件,确定binlog日志的起点 [root@vm01 inc2]# pwd /data/backup/inc2 [root@vm01 inc2]# cat xtrabackup_binlog_info mysql-bin.000001 1156 e271e770-310c-11eb-b220-000c29d16f12:1-5 起点: position:1156 gtid:e271e770-310c-11eb-b220-000c29d16f12:6 通过binlog日志确定终点 [root@vm01 backup]# mysqlbinlog --base64-output=decode-rows -vvv /data/mysql/mysql-bin.000001|tail -15 #201201 6:18:17 server id 201 end_log_pos 1574 CRC32 0x31044733 Xid = 4477 COMMIT/*!*/; # at 1574 #201201 6:18:18 server id 201 end_log_pos 1639 CRC32 0x4dd05c28 GTID last_committed=7 sequence_number=8 rbr_only=no SET @@SESSION.GTID_NEXT= 'e271e770-310c-11eb-b220-000c29d16f12:8'/*!*/; # at 1639 #201201 6:18:18 server id 201 end_log_pos 1725 CRC32 0x7104335c Query thread_id=54 exec_time=0 error_code=0 SET TIMESTAMP=1606774698/*!*/; drop database cs /*!*/; SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/; DELIMITER ; # End of log file /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/; 终点为: position:1574 gtid:e271e770-310c-11eb-b220-000c29d16f12:7 截取binlog日志 mysqlbinlog --skip-gtids --include-gtids="e271e770-310c-11eb-b220-000c29d16f12:6-7" /data/mysql/mysql-bin.000001 > /tmp/gtid.sql mysqlbinlog --start-position=1156 --stop-position=1574 /data/mysql/mysql-bin.000001 > /tmp/bin.sql 4. 进行恢复 [root@vm01 ~]# mkdir /data/mysql/data2 -p [root@vm01 ~]# cp -a * /data/mysql/data2 [root@vm01 ~]# chown -R mysql.mysql /data/* [root@vm01 ~]# systemctl stop mysqld vim /etc/my.cnf datadir=/data/mysql/data2 systemctl start mysqld [(none)]>set sql_log_bin=0; [(none)]>source /data/backup/binlog.sql
#[(none)]>source /data/backup/gtid.sql
redo-only除最后一次增量备份外,前面的增量备份在合并的时候都需要加上这个参数,即只进行前滚,不回滚,在备份进行时有事务未提交,很可能在下次增量备份的时候提交。如果执行了回滚,后面的备份将无法使用。
redo是物理日志,记录数据库页的改变,全备事务未提交,redo只写了一半的事务数据,假使是个大事务,需要写多个数据页,前M个数据页已写完,事务还没提交,增备的时候写完后面N个数据页,这样完整的事务是M+N的数据页,由于前M个数据页LSN未更新,增备的时候是不会备份这M个数据页的,如果应用undo,这样全备的M个数据页就会被回滚丢失,完整的事务就不是M+N个数据页了,只有增备的N个数据页,这样就丢失了M个数据页的数据。
I have a dream so I study hard!!!