大数据企业备份

      随着互联网不断的发展，企业对运维人员的能力要求也越来越高，尤其是要求运维人员能处理各种故障、专研自动化运维技术、云计算机、虚拟化等，满足公司业务的快速发展。

      本章向读者介绍数据库备份方法、数量级2T及以上级别数据库备份方案、xtrabackup企业工具案例演示、数据库备份及恢复实战等。

一、企业级数据库备份

       在日常运维工作中，数据是公司非常重要的资源，尤其是数据库的相关信息，如果数据丢了，少则损失几千元，高则损失上千万。所以在运维工作中药及时注意网站数据的备份，尤其要及时对数据库进行备份。

       企业中如果数据量上T级别，维护和管理是非常复杂的，尤其是对数据库进行备份操作。

1、数据库备份方法及策略

企业中MySQL数据库备份最常用的方法如下：

  • 直接cp备份

  • Sqlhotcoyp

  • 主从同步复制

  • Mysqldump备份

  • Xtrabackup备份

Mysqldump和Xtrabackup均可以备份MYSQL数据，如下为Msqldump工具使用方法：

      通常小于100G的MYSQL数据库可以使用默认Msqldump备份工具进行备份，如果超过100G的大数据，由于Mysqldump备份方式采用的逻辑备份，最大的缺陷是备份和恢复速度较慢。

       基于Mysqldump备份耗时会非常长，而且备份期间会锁表。锁表直接导致数据库只能访问Select，不能执行Insert、Update等操作，进而导致部分WEB应用无法写入新数据。

       如果是Myisam引擎表，当然也可以执行参数-lock-tables=false禁用锁表，但是有可能造成数据信息不一致。

如果是支持事务的表，例如InnoDB和BDB，--single-transaction参数是一个更好的选择，因为它不锁定表。

mysqldump -uroot -p123456 --all-databases --opt --single-transaction  > 2017all.sql

      其中--opt快捷选项，等同于添加--add-drop-tables  --add-locking  --create-option  --disable-keys  --extended-insert  --lock-tables  --quick  --set-charset 选项。

      本选项能让Mysqldump很快的导出数据，并且导出的数据能很快导回。该选项默认开启，但可以用--skip-opt禁用。

       如果运行Mysqldump没有指定--quick或--opt选项，则会将整个结果集放在内存中。如果导出大数据库的话可能会导致内存溢出而异常退出。

二、Xtrabackup企业实战

1、Xtrabackup备份原理

       Mysql冷备、Mysqldump、Mysql热拷贝均不能实现对数据库进行增量备份，但实际环境中增量备份非常的实用，如果数据量小于100G，存储空间足够，可以每天进行完整备份，如果每天产生的数据量大，需要定制数据备份策略例如：每周日使用完整备份，周一到周六使用增量备份，或者每周六完整备份，周日到周五使用增量备份。

        Percona-xtrabackup是为实现增量备份而生的一款主流备份工具，Xtrabackup有两个主要的工具，分别为：xtrabackup、innobackupex。

        Percona-xtrabackup是Percona公司开发的一个用于MYSQL数据库物理热备的备份工具，支持MYSQL、Percona Server及mariadb，开源免费，是目前互联网数据库备份最主流的工具之一。

       Xtrabackup只能备份InnoDB和XtraDB两种数据引擎的表，而不能备份MyISAM数据表，Innobackupex-1.5.1则封装了Xtrabackup，是一个封装好的脚本，使用该脚本能同时备份处理innodb和myisam，但在处理myisam时需要加一个读锁。

        Xtrabackup备份原理，Innobackupex在后台线程不断追踪InnoDB的日志文件，然后复制InnoDB的数据文件。数据文件复制完成之后，日志的复制线程也会结束。这样就得到了不在同一时间点的数据副本和开始备份以后的事务日志。完成上面的步骤之后，就可以使用InnoDB奔溃恢复代码执行事务日志（Redo log），已达到数据的一致性。其备份优点如下：

  • 备份速度快，物理备份更加可靠；

  • 备份过程不会打断正在执行的事务，无需锁表；

  • 能够基于压缩等功能节约磁盘空间和流量；

  • 自动备份效验；

  • 还原速度快；

  • 可以流传将备份传输到另一台机器上；

  • 节约磁盘空间和网络带宽。

Innobackupex工具的备份过程原理，如图所示：

 

Innobackupex备份过程中首先启动Xtrabackup_log后台检测的进程，实时检测Mysql redo的变化，一旦发现Redo有新的日志写入，立刻将日志写入到日志文件Xtrabackup_log中，并复制Innodb的数据文件和系统表空间文件idbdata1到备份目录。

Innodb引擎表备份完成之后，执行Flush table with read lock操作进行Mylsam表备份。拷贝.frm .myd .myi文件，并且在这一时刻获得binary log的位置，将表进行解锁unlock tables。停止Xtrabackup_log进程，完成整个数据库的备份。

2、Percona-xtrabackup下载安装

（1）官方下载Percona-xtrabackup

cd /usr/src
wget http://www.percona.com/downloads/XtraBackup/XtraBackup-2.1.9/binary/Linux/x86_64/percona-xtrabackup-2.1.9-744-Linux-x86_64.tar.gz
tar -zxf percona-xtrabackup-2.1.9-744-Linux-x86_64.tar.gz

（2）Percona-xtrabackup软件安装方法，复制innobackupex xtrabackup xtrabackup_55 xtrabackup_56工具到/usr/bin目录下，代码如下：

 cd /usr/src/percona-xtrabackup-2.1.9-Linux-x86_64/bin/
 cp innobackupex xtrabackup xtrabackup_55 xtrabackup_56 /usr/bin/

 3、mysql数据库全备份

（1）数据库备份

mkdir -p  /data/backup/mysql/
innobackupex --user=root --password=123456 /data/backup/mysql/

（2）数据库恢复

Innobackupex数据库恢复，恢复前要保证数据一致性，执行如下命令：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --apply-log /data/backup/mysql/2019-01-30_10-26-17/

通常数据库备份完成后，数据尚不能直接用于恢复操作，因为备份的数据时是一个过程，在备份过程中，有任务会写入数据，可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。

因为此时数据文件扔处理不一致状态，基于--apply-log可以通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态，方可进行恢复操作。

Apply-log过程可以在任何机器上运行，没有强制在线上或者备份库上运行，可以把备份复制在闲置的服务器上去运行，以此来降低备份库的压力，必须保证backup和apply-log所使用的mysqlbackup的版本要一致。

 （3）删除原数据目录/var/lib/mysql数据，使用参数--copy-back恢复完整数据，授权mysql用户给所有的数据库文件，如图所示：

rm -rf /var/lib/mysql/*
innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --copy-back /data/backup/mysql/2019-01-30_10-26-17/
chown -R mysql:mysql /var/lib/mysql/

 查看数据库恢复信息，数据完全恢复，如图所示：

 

4、Innobackupex增量备份

 增量备份仅能应用于InnoDB或XtraDB表，对于MyISAM表而言，执行增量备份时其实进行的是完全备份。

（1）增量备份之前必须执行完全备份，如图所示：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --databases=discuz /data/backup/mysql/

（2）执行第一次增量备份：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --databases=discuz --incremental /data/backup/mysql/ --incremental-basedir=/data/backup/mysql/2019-01-30_13-57-09

增量备份完后，会在/data/backup/mysql/目录下生成新的备份目录。如图所示：

（3）数据表插入新数控

 

（4）执行第二次增量备份，备份命令如下：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --databases=discuz --incremental /data/backup/mysql/ --incremental-basedir=/data/backup/mysql/2019-01-30_13-58-58

5、mysql增量数据库恢复

删除原数据库中表及数据记录信息，如图所示：

增量备份数据恢复方法如下步骤：

（1）基于Apply-log确保数据一致性：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456  --apply-log --redo-only /data/backup/mysql/2019-01-30_13-57-09/

（2）执行第一次增量数据恢复：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456  --apply-log --redo-only /data/backup/mysql/2019-01-30_13-57-09/ --incremental-dir=/data/backup/mysql/2019-01-30_13-58-58

（2）执行第二次增量恢复：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456  --apply-log --redo-only /data/backup/mysql/2019-01-30_13-57-09/ --incremental-dir=/data/backup/mysql/2019-01-30_14-07-58

（4）执行完整数据恢复：

innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456  --copy-back /data/backup/mysql/2019-01-30_13-57-09/

 

posted @ 2019-01-30 10:53  流年晕开时光  阅读(383)  评论(0)  编辑  收藏  举报