mysql数据库-备份与还原-Percona XtraBackup 2.4备份工具使用
xtrabackup 数据库备份工具是由percona提供的mysql数据库备份工具，目前惟一开源的能够对innodb和xtradb数据库进行热备的工具
Percona XtraBackup 2.4 - Documentation
Percona XtraBackup is an open-source hot backup utility for MySQL - based servers that doesn’t lock your database during the backup.
It can back up data from InnoDB, XtraDB, and MyISAM tables on MySQL 5.1 [1], 5.5, 5.6 and 5.7 servers, as well as Percona Server for MySQL with XtraDB.
For a high-level overview of many of its advanced features, including a feature comparison, please see About Percona XtraBackup.
Whether it is a 24x7 highly loaded server or a low-transaction-volume environment, Percona XtraBackup is designed to make backups a seamless procedure without disrupting the performance of the server in a production environment. Commercial support contracts are available.
- 由于场景限制，以下内容为Percona XtraBackup 2.4版本的内容
xtrabackup 特点
- InnoDB热备份、增量备份支持
- 可直接备份数据到其他数据库服务器上
- 备份MySQL过程不增加服务器负载
- 备份还原过程快速、可靠
- 备份过程不会打断正在执行的事务
- 能够基于压缩等功能节约磁盘空间和流量
- 自动实现备份检验
- 基于时间点恢复
备份生成的相关文件
使用innobackupex备份时，其会调用xtrabackup备份所有的InnoDB表，复制所有关于表结构定义的相关文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相关文件，同时还会备份触发器和数据库配置信息相关的文件。这些文件会被保存至一个以时间命名的目录中,在备份时，innobackupex还会在备份目录中创建如下文件：
- xtrabackup_info：文本文件，innobackupex工具执行时的相关信息，包括版本，备份选项，备份时长，备份LSN(log sequence number日志序列号)，BINLOG的位置
- xtrabackup_checkpoints：文本文件，备份类型（如完全或增量）、备份状态（如是否已经为prepared状态）和LSN范围信息,每个InnoDB页(通常为16k大小)都会包含一个日志序列号LSN。LSN是整个数据库系统的系统版本号，每个页面相关的LSN能够表明此页面最近是如何发生改变的
- xtrabackup_binlog_info：文本文件，MySQL服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置，可利用实现基于binlog的恢复
- backup-my.cnf：文本文件，备份命令用到的配置选项信息
- xtrabackup_logfile：备份生成的二进制日志文件
xtrabackup 安装
wget -P /tmp/ https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.22/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm
yum -y localinstall /tmp/percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm qpress
# rpm -ql percona-xtrabackup-24.x86_64
/usr/bin/innobackupex
/usr/bin/xbcloud
/usr/bin/xbcloud_osenv
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup
/usr/lib64/xtrabackup/plugin/keyring_file.so
/usr/lib64/xtrabackup/plugin/keyring_vault.so
/usr/share/doc/percona-xtrabackup-24-2.4.22
/usr/share/doc/percona-xtrabackup-24-2.4.22/LICENSE
/usr/share/man/man1/innobackupex.1.gz
/usr/share/man/man1/xbcrypt.1.gz
/usr/share/man/man1/xbstream.1.gz
/usr/share/man/man1/xtrabackup.1.gz
xtrabackup 用法
https://www.percona.com/doc/percona-xtrabackup/LATEST/genindex.html
- 备份：对数据库做完全或增量备份
- 预准备： 还原前，先对备份的数据，整理至一个临时目录
- 还原：将整理好的数据，复制回数据库目录中
1 备份
# innobackupex --help
--user：#该选项表示备份账号
--password：#该选项表示备份的密码
--host：#该选项表示备份数据库的地址
--databases：#该选项接受的参数为数据库名，如果要指定多个数据库，彼此间需要以空格隔开；
如："xtra_test dba_test"，同时，在指定某数据库时，也可以只指定其中的某张表。
如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表
--defaults-file：#该选项指定从哪个文件读取MySQL配置，必须放在命令行第一个选项位置
--incremental：#该选项表示创建一个增量备份，需要指定--incremental-basedir
--incremental-basedir：#该选项指定为前一次全备份或增量备份的目录，与--incremental同时使用
--incremental-dir：#该选项表示还原时增量备份的目录
--include=name：#指定表名，格式：databasename.tablename
2 预备份
# innobackupex --apply-log [option] BACKUP-DIR
--apply-log：#一般情况下,在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处理不一致状态。此选项作用是通过**回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态**
--use-memory：#和--apply-log选项一起使用，当prepare 备份时，做crash recovery分配的内存大小，单位字节，也可1MB,1M,1G,1GB等，推荐1G
--export：#表示开启可导出单独的表之后再导入其他Mysql中
--redo-only：#此选项在prepare base full backup，往其中合并增量备份时候使用，但不包括对最后一个增量备份的合并
3 还原
innobackupex --copy-back [选项] BACKUP-DIR
innobackupex --move-back [选项] [--defaults-group=GROUP-NAME] BACKUP-DIR
--copy-back：#做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir
--move-back：#这个选项与--copy-back相似，唯一的区别是它不拷贝文件，而是移动文件到目的地。这个选项移除backup文件，用时候必须小心。使用场景：没有足够的磁盘空间同事保留数据文件和Backup副本
--force-non-empty-directories #指定该参数时候，使得innobackupex --copy-back或--move-back选项转移文件到非空目录，已存在的文件不会被覆盖。如果--copy-back和--move-back文件需要从备份目录拷贝一个在datadir已经存在的文件，会报错失败
4 其他
还原注意事项
- datadir 目录必须为空。除非指定innobackupex --force-non-empty-directorires选项指定，否则--copy-back选项不会覆盖
- 在restore之前,必须shutdown MySQL实例，不能将一个运行中的实例restore到datadir目录中
- 由于文件属性会被保留，大部分情况下需要在启动实例之前将文件的属主改为mysql，这些文件将属于创建备份的用户, 执行
chown -R mysql:mysql /data/mysql,以上需要在用户调用innobackupex之前完成
xtrabackup实现完全备份及还原
1 安装xtrabackup备份工具
wget -P /tmp/ https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.22/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm
yum -y localinstall /tmp/percona-xtrabackup-24-2.4.22-1.el7.x86_64.rpm qpress
# install qpress error see PS:1
2 完全备份
mkdir /backup
xtrabackup -uroot -p123456 --backup --target-dir=/backup/base
3 预准备数据
释义参见PS:4
# scp -r /backup/ 目标主机:/ # 拷贝数据到还原主机上
# 预准备：确保数据一致，提交完成的事务，回滚未完成的事务
xtrabackup --prepare --target-dir=/backup/base
4 还原数据
# 1 复制到数据库目录
## 数据库目录必须为空，MySQL服务不能启动，必要时可使用 rm -rf /var/lib/mysql/*
xtrabackup --copy-back --target-dir=/backup/base
# 2 还原文件属性
chown -R mysql:mysql /var/lib/mysql/
# 3 启动数据库服务验证
service mysqld start
xtrabackup增量备份及还原
备份操作
# 创建备份根目录
mkdir /backup
# 第一次完全备份
xtrabackup -uroot -p123456 --backup --target-dir=/backup/base
# 第一次增量备份
xtrabackup -uroot -p123456 --backup --target-dir=/backup/inc1 --incremental-basedir=/backup/base
# 第二次增量备份
xtrabackup -uroot -p123456 --backup --target-dir=/backup/inc2 --incremental-basedir=/backup/inc1
# 拷贝备份数据到目标机器上准备还原
scp -r /backup/* 目标主机:/bakcup/
还原操作
# 预准备完成备份，此选项--apply-log-only 不回滚未完成的事务
xtrabackup --prepare --apply-log-only --target-dir=/backup/base
# 合并第1次增量备份到完全备份
xtrabackup --prepare --apply-log-only --target-dir=/backup/base --incremental-dir=/backup/inc1
# 合并第2次增量备份到完全备份，最后一次备份的还原不需要加选项--apply-log-only
xtrabackup --prepare --target-dir=/backup/base --incremental-dir=/backup/inc2
# 复制到数据库目录
xtrabackup --copy-back --target-dir=/backup/base
# 按需还原文件属性
chown -R mysql:mysql /var/lib/mysql
# 启动服务
service mysqld start
xtrabackup单表导出和导入
#导出
# 1 单表备份
innobackupex -uroot -p123456 --include='hellodb.students' /backup
# 2备份表结构
mysql -e 'show create table hellodb.students' > student.sql
# 3删除表
mysql -e 'drop table hellodb.students'
# 导出数据
# 4 innobackupex --apply-log --export /backups/2000-01-01_01-01-01/
# 5 创建表
mysql>CREATE TABLE `students` (
`StuID` int(10) unsigned NOT NULL AUTO_INCREMENT,
`Name` varchar(50) NOT NULL,
`Age` tinyint(3) unsigned NOT NULL,
`Gender` enum('F','M') NOT NULL,
`ClassID` tinyint(3) unsigned DEFAULT NULL,
`TeacherID` int(10) unsigned DEFAULT NULL,
PRIMARY KEY (`StuID`)
) ENGINE=InnoDB AUTO_INCREMENT=26 DEFAULT CHARSET=utf8
# 6 删除表空间
alter table students discard tablespace;
# 7 cp /backups/2000-01-01_01-01-01/hellodb/students.{cfg,exp,ibd} /var/lib/mysql/hellodb/
# 8 chown -R mysql.mysql /var/lib/mysql/hellodb/
# 9 mysql>alter table students import tablespace;
PS
1. install qpress
To be able to make compressed backups, install the qpress package
wget http://www.quicklz.com/qpress-11-linux-x64.tar
tar xvf qpress-11-linux-x64.tar
cp qpress /usr/bin
2. 查看xtrabackup备份相关文件
cat /backup/inc1/xtrabackup_info
cat /backup/inc1/xtrabackup_checkpoints
cat /backup/inc1/xtrabackup_binlog_info
3.旧版xtrabackup备份指令
# 备份
mkdir /backup/inc{1,2}
innobackupex --incremental /backup/inc1 --incremental-basedir=/backup/2000-01-01_01-01-01 # （完全备份生成的路径）
innobackupex --incremental /backup/inc2 --incremental-basedir=/backup/inc1/2000-01-01_01-02-02 #（上次增量备份生成的路径）
# 预准备
innobackupex --apply-log --redo-only /data/2000-01-01_01-01-01/
innobackupex --apply-log --redo-only /2000-01-01_01-01-01/ --incremental-dir=/data/inc1/2000-01-01_01-02-02
innobackupex --apply-log /data/2000-01-01_01-01-01/ --incremental-dir=/data/inc2/2000-01-01_01-03-03/
# 还原
innobackupex --copy-back /data/2000-01-01_01-01-01/
4. 预准备数据回滚理解
基于xtrabackup的备份原理，热备份基于数据库的lLSN事件记录判断数据记录是否提交成功落盘，每次备份只要确认哪些事务被成功提交
所以每次的增量备份都把这些记录还原到总的预准备数据中，不需要把准备的数据中未提交的事务回滚，后续备份中有中断的事务的记录可以补全半提交事务
最后一次增量备份添加进入总的预准备的数据中需要回滚未提交的事务，因为后面没有关于未提交事务的信息，也就需要回滚未提交的，以免产生数据冲突，然后才可以直接应用数据
5.结合binlog文件实现高精度数据恢复
结合PS:4所述，最终还是会有部分未执行完全的事务被丢弃，也就是有部分数据被丢弃，如果需要高精度的数据还原，就需要结合binlog做高精度还原
# 查看备份文件中的binlog文件名（确认预备份文件备份记录到什么位置）
cat xtrabackup_binlog_info
# 找到对于故障数据库的对应binlog文件，并导出增量sql
mysqlbinlog /backup/xxx-bin.000088 --start-position=xxxxx > /tmp/inc.sql
# 关闭二进制binlog日志，还原增量数据
show master logs;
set sql_log_bin=off;
source /tmp/inc.sql
set sql_log_bin=on;
