Azure Linux 虚拟机上的数据库的备份+主从

Azure Linux 虚拟机上的数据库的备份

备份 MySQL

有许多种备份 MySQL 数据库的方式。如果您使用的是 Azure 提供的 MySQL 服务，您可以参考 Azure MySQL tutorial 进行备份

如果您是在 Azure 的 Linux 虚拟机上自行搭建的 MySQL 数据库的话，这篇文档就非常适合您了。我们会介绍三种 MySQL 备份的方式：mysqldump, 主从复制, 以及 xtrabackup.

如果您还没有 Azure 下的 LINUX 虚拟机，请参考 Azure Linux VM tutorial. 创建 LINUX 虚拟机。 连接到您的 LINUX 虚拟机。如果这是您第一次使用 Azure 的 LINUX 虚拟机，请参考 Azure Linux VM tutorial 连接到虚拟机。 我们假设您已经在 Azure 的 Linux 虚拟机上安装好了 MySQL 数据库服务，接下来开始备份过程。

Mysqldump

Mysqldump 组件使用逻辑备份，产生一系列可执行的 SQL 语句，重现原始数据库对象定义和表数据。它备份一个或多个 MySQL 数据库，或者把备份传输到另一台 MySQL 数据库服务器。它能生成 CSV，XML 或其他格式的输出。

Mysqldump 要求对备份的表至少有查询的权限，如果--single-transaction 选项没有使用的话则要求有锁表的权限。正如 mysqldump --help 中的介绍那样，特定的选项可能会要求其他的一些权限。要加载一个备份文件，您必须有权限去执行备份文件里包含的 SQL 语句，比如说创建对象的语句，您必须有创建这些对象的权限。

1.通常有三种使用 mysqldump 的方式—备份一组表；备份一组数据库；备份整个数据库服务器—正如下面所示：

shell> mysqldump [options] db_name [tbl_name ...]  
shell> mysqldump [options] --databases db_name ...  
shell> mysqldump [options] --all-databases  


比如有一个数据库叫做 shop, 它下面有一个表名叫 price, 下面的命令即把 price 表备份到 /tmp/price.sql

$mysqldump –uroot –ppassword shop price > /tmp/price.sql


2.mysqldump 非常适合‘复制’数据库：即把数据从一台数据库服务器拷贝到另一台数据库服务器（必须确保能连接到远端的数据库服务器 ）

$mysqldump -uroot –ppassword --opt shop |mysql -uroot –ppassword --host=remote_mysqlserver -C shop  


上面的命令把本地的 shop 数据库数据拷贝到远端的 shop 数据库。当然前提是远端 MySQL 数据库服务器有一个叫做 shop 的数据库。

3.对于 InnoDB 表来说，mysqldump 能够提供在线备份：

$mysqldump –uroot -ppassword --all-databases --master-data --single-transaction > all_databases.sql


4.刷新binary log

$mysqldump –uroot –ppassword --all-databases --flush-logs --master-data=2 > all_databases.sql  


--master-data 和 --single-transaction 选项能同时使用，对使用 InnoDB 引擎的表来说。 --flush-logs 选项会在开始备份前，刷新 MySQL 服务器的日志文件。

5.恢复数据。很简单：

$mysql –uroot –ppassword  < /tmp/price.sql


6.更多关于 mysqldump 的细节，可执行 mysqldump --help 或者参考 MySQL 官网文档。

主从复制

主从复制通常指将主服务器上的数据及时同步到从服务器上，保持主从服务器数据的一致。在 Azure 上，建议将主从服务器放置于同一个子网下，或者位于同一个数据中心，比如区域都位于中国东部或者中国北部，以降低网络延迟。在创建虚拟机时选择区域。

Azure 有提供虚拟网络的服务，可以让不同的虚拟机处于同一个子网下。请参考虚拟网络链接创建虚拟网络。

[Azure.Note]必须在创建虚拟机时指定虚拟网络。创建虚拟机后，不能将它加入虚拟网络。如果不想让这些服务器处于同一个子网下，则请在选择区域时保持一致。

不同的 LINUX 发行版在配置主从复制时有少许的不同。请根据您使用的 LINUX 版本选择下面对应的步骤：

Redhat base Linux: ( 以CentOS 7.0, 64-bit system, MySQL Server 5.6(yum install) 为例)

1.在主从机器上都打开3306端口。请参考链接创建终结点

2.连接到主服务器。编辑 /etc/my.cnf, 在 [mysqld] 下添加如下内容

server-id   = 1  
log_bin = /var/lib/mysql/mysql-bin.log


3.连接到从服务器. 编辑 /etc/my.cnf, 在 [mysqld] 下添加如下内容

server-id   = 2
log_bin = /var/lib/mysql/mysql-bin.log


4.去到主服务器，启动 mysql 服务

$sudo service mysqld start


5.创建用于复制的用户。请根据实际情况，使用真实的从服务器 IP 地址，用户名，密码代替下面相应部分。

$mysql -uroot -p<password>
grant replication slave on *.* to 'repluser'@'slave ip' identified by 'password';  
flush privileges;
exit


6.重启 mysql 服务并查看主服务器状态

$sudo service mysqld restart
$mysql -uroot -p<password>
show master status;


‘show master status’ 命令返回结果类似下图，其中的 ’File’ 和 ’Position’ 信息我们稍后需要用到。

7.去到从服务器，启动 mysql 服务

$sudo service mysqld start


8.注意,下面部分请根据实际情况填写。 ’mysql master ip’ 是主服务器的IP地址，‘repluser’ 和 ’password’ 是在主服务器创建的用于复制的用户名和密码，’master log bin’ 和 ’pos’ 是在主服务器上 ’show master status’ 得到的 ’File’ 和 ’Position’.

$ mysql -uroot -p<password>  
change master to master_host=’mysql master ip’, master_user=’repluser’, master_password=’password’, master_log_file=’master log bin’, master_log_pos=pos;
start slave;
show slave status\G  


show slave status\G 用来查看主从复制状态，得到结果如下图

查看 “Slave_IO_Running” 和 “Slave_SQL_Running”, 如果都是 “Yes”, 一般来讲意味着主从复制成功运行。

9.我们可以在主服务器上做一些更新操作，然后去到从服务器查看数据是否同步了。去到主服务器执行如下命令

$ mysql -uroot -p<password>
create database shop;
use shop;
create table people (id int(10), name varchar(20));
insert into people values (1, ‘alex’);  


去到从服务器查看是否有数据库名为 shop，表名为 people.

$ mysql -uroot -p<password>
use shop;
select * from people;  


如果结果类似下图，表明主从复制正常。

Ubuntu Linux: ( 以 Ubuntu 14.04, 64-bit system, MySQL Server 5.5(apt-get install) 为例)

1.在主从机器上都打开3306端口。请参考链接 创建终结点

然后在主从服务器上编辑/etc/mysql/my.cnf

$sudo sed -i 's/^bind-address/#bind-address/' /etc/mysql/my.cnf
$sudo sed -i 's/^#server-id/server-id/' /etc/mysql/my.cnf
$sudo sed -i 's/#log_bin/log_bin/' /etc/mysql/my.cnf  


2.在从服务器上编辑 /etc/mysql/my.cnf

server-id   = 2  


3.去到主服务器，启动 mysql 服务

$sudo service mysql start  


4.创建用于复制的用户。请根据实际情况，使用真实的从服务器 IP 地址，用户名，密码代替下面相应部分

$mysql -uroot -p<password>
grant replication slave on *.* to 'repluser'@'slave ip' identified by 'password';  
flush privileges;
exit  


5.重启 mysql 服务并查看主服务器状态

$sudo service mysql restart
$mysql -uroot -p<password>
show master status;  


‘show master status’ 命令返回结果类似下图，其中的 ’File’ 和 ’Position’ 信息我们稍后会用到

6.去到从服务器，启动 mysql 服务

$sudo service mysql start  


7.注意下面部分请根据实际情况填写。’mysql master ip’ 是主服务器的IP地址，‘repluser’ 和 ’password’ 是在主服务器创建的用于复制的用户名和密码，’master log bin’ 和 ’pos’ 是在主服务器上 ’show master status’ 得到的 ’File’ 和 ’Position’

$ mysql -uroot -p<password>
change master to master_host=’mysql master ip’, master_user=’repluser’, master_password=’password’, master_log_file=’master log bin’, master_log_pos=pos;
start slave;
show slave status\G  


show slave status\G 用来查看主从复制状态，得到结果如下图

查看 “Slave_IO_Running” 和 “Slave_SQL_Running”, 如果都是 “Yes”, 一般来讲意味着主从复制成功运行.

8.我们可以在主服务器上做一些更新操作，然后去到从服务器查看数据是否同步了。去到主服务器执行如下命令

$ mysql -uroot -p<password>
create database shop;
use shop;
create table people (id int(10), name varchar(20));
insert into people values (1, ‘alex’);  


9.去到从服务器查看是否有数据库名为 shop，表名为 people

$ mysql -uroot -p<password>
use shop;
select * from people;  


如果结果类似下图，表明主从复制正常.

SUSE Linux: ( 以 SLES 12, 64-bit system, MySQL Server 5.6(rpm install) 为例)

1.在主从机器上都打开3306端口。请参考链接 创建终结点

然后连接到主服务器。编辑 /etc/my.cnf, 在 [mysqld]下添加如下内容

server-id   = 1
log_bin = /var/lib/mysql/mysql-bin.log  


2.连接到从服务器. 编辑 /etc/my.cnf, 在 [mysqld]下添加如下内容

server-id   = 2
log_bin = /var/lib/mysql/mysql-bin.log  


3.去到主服务器，启动 mysql 服务

$sudo service mysql start  


4.创建用于复制的用户。请根据实际情况，使用真实的从服务器 IP 地址，用户名，密码代替下面相应部分.

$mysql -uroot -p<password>
grant replication slave on *.* to 'repluser'@'slave ip' identified by 'password';  
flush privileges;
exit


5.重启 mysql 服务并查看主服务器状态

$sudo service mysql restart
$mysql -uroot -p<password>
show master status;


‘show master status’ 命令返回结果类似下图，其中的 ’File’ 和 ’Position’ 信息我们稍后需要用到

6.去到从服务器，启动 mysql 服务

$sudo service mysql start  


7.注意下面部分请根据实际情况填写。’mysql master ip’ 是主服务器的IP地址，‘repluser’ 和 ’password’ 是在主服务器创建的用于复制的用户名和密码，’master log bin’ 和 ’pos’ 是在主服务器上 ’show master status’ 得到的 ’File’ 和 ’Position’

$ mysql -uroot -p<password>
change master to master_host=’mysql master ip’, master_user=’repluser’, master_password=’password’, master_log_file=’master log bin’, master_log_pos=pos;
start slave;
show slave status\G


show slave status\G 用来查看主从复制状态，得到结果如下图

查看 “Slave_IO_Running” 和 “Slave_SQL_Running”, 如果都是 “Yes”, 一般来讲意味着主从复制成功运行.

8.我们可以在主服务器上做一些更新操作，然后去到从服务器查看数据是否同步了。去到主服务器执行如下命令

$ mysql -uroot -p<password>
create database shop;
use shop;
create table people (id int(10), name varchar(20));
insert into people values (1, ‘alex’);  


9.去到从服务器查看是否有数据库名为 shop，表名为 people

$ mysql -uroot -p<password>
use shop;
select * from people;  


如果结果类似下图，表明主从复制正常.

Xtrabackup

Percona XtraBackup 是开源的热备份工具—在备份的时候，不会锁住 MySQL 数据库的表

它能备份 InnoDB, XtraDB, and MyISAM 表，支持 MySQL 5.1 [1], 5.5, 5.6 and 5.7

不管您的 MySQL 服务器是 24x7 高负载，还是只有少量交易的环境，Percona XtraBackup 设计是用来“绝不阻挠生产环境下的数据库服务器的表现”。

请选择对应的 xtrabackup 版本和 MySQL 服务器版本.

Redhat base Linux: ( 以 CentOS 7.0, 64-bit system, xtrabackup 2.3.2, MySQL Server 5.6 为例)

1.安装 xtrabackup, 授予权限

$sudo wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.3.2/binary/redhat/7/x86_64/Percona-XtraBackup-2.3.2-r306a2e0-el7-x86_64-bundle.tar
$sudo tar -xf Percona-XtraBackup-2.3.2-r306a2e0-el7-x86_64-bundle.tar
$sudo yum install perl-DBD-MySQL.x86_64
$sudo yum install rsync
$sudo rpm -ivh percona-xtrabackup-2.3.2-1.el7.x86_64.rpm
$sudo mysql -uroot -ppassword
mysql> CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 's3cret';
mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'bkpuser'@'localhost';
mysql> FLUSH PRIVILEGES;  


2.全量备份和恢复示例

2.1 全量备份

$sudo innobackupex --defaults-file=/etc/my.cnf --user='bkpuser' --password='s3cret' /tmp/backup --no-timestamp
$sudo innobackupex --apply-log /tmp/backup  


2.2 全量恢复

$sudo service mysqld stop        
$sudo cp -r /var/lib/mysql /backup/
$sudo rm -rf /var/lib/mysql/*
$sudo innobackupex --copy-back /tmp/backup
$sudo chown -R mysql:mysql /var/lib/mysql
$sudo service mysqld restart  


如果 /var/lib/mysql 非空的话，innobackupex --copy-back 命令会失败。因此我们需要先把这些文件移走。

3.增量备份和恢复示例

3.1 增量备份

$innobackupex --defaults-file=/etc/my.cnf --user='bkpuser' --password='s3cret' /tmp/backup --no-timestamp
$sudo innobackupex --defaults-file=/etc/my.cnf --user='bkpuser' --password='s3cret' --incremental /tmp/inc1 --incremental-basedir=/tmp/backup --no-timestamp
$sudo innobackupex --defaults-file=/etc/my.cnf --user='bkpuser' --password='s3cret' --incremental /tmp/inc2 --incremental-basedir=/tmp/inc1 --no-timestamp  


您可以继续做第三次增量备份，只是需要注意 --incremental-basedir 应该指向第二次备份的目录 /tmp/inc2

$sudo innobackupex --defaults-file=/etc/my.cnf --user='bkpuser' --password='s3cret' --incremental /tmp/inc3 --incremental-basedir=/tmp/inc2 --no-timestamp


3.2 增量备份恢复

$ sudo innobackupex --apply-log --redo-only /tmp/backup
$sudo innobackupex --apply-log --redo-only /tmp/backup --incremental-dir=/tmp/inc1
$sudo innobackupex --apply-log --redo-only /tmp/backup --incremental-dir=/tmp/inc2
$sudo innobackupex --apply-log  /tmp/backup --incremental-dir=/tmp/inc3
$sudo innobackupex --apply-log  /tmp/backup
$sudo service mysqld stop        
$sudo cp -r /var/lib/mysql /backup/
$sudo rm -rf /var/lib/mysql/*
$sudo innobackupex --copy-back /tmp/backup
$sudo chown -R mysql:mysql /var/lib/mysql
$sudo service mysqld restart


Ubuntu Linux: ( 以Ubuntu 14.04, 64-bit system, Xtrabackup 2.2.13, MySQL Server 5.6 为例)

备份和恢复过程和上面的 Redhat base Linux 备份恢复过程非常相似，只是在安装时有少许不同，后面的授权，备份和恢复都是一样的。

1.安装

$sudo wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.2.13/binary/debian/trusty/x86_64/percona-xtrabackup-22_2.2.13-1.trusty_amd64.deb
$sudo dpkg -i percona-xtrabackup-22_2.2.13-1.trusty_amd64.deb  


2.请参考上面的备份恢复过程。注意 --defaults-file=/etc/mysql/my.cnf , 不是 /etc/my.cnf