MySQL-MHA
MySQL-MHA
MHA简介
MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。
该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。
MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。
在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。
目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从。MHA 适合任何存储引擎, 只要能主从复制的存储引擎它都支持，不限于支持事物的 innodb 引擎。
官方介绍：https://code.google.com/p/mysql-master-ha/
架构图：
MHA高可用原理：
（1）从宕机崩溃的master保存二进制日志事件（binlog events）;
（2）识别含有最新更新的slave；
（3）应用差异的中继日志（relay log）到其他的slave；
（4）应用从master保存的二进制日志事件（binlog events）；
（5）提升一个slave为新的master；
（6）使其他的slave连接新的master进行复制；
试验环境：
|
主机 |
主机名 |
角色 |
备注 |
安装软件 |
|
192.168.247.65 |
manager |
manage |
管理员 |
|
|
192.168.247.66 |
master |
master |
主库 |
|
|
192.168.247.67 |
slave01 |
slave01 |
备用主库 |
|
|
192.168.247.68 |
slave02 |
slave02 |
从库 |
MHA集群搭建
一、环境准备
（命令窗口下操作）--对所有主机
1.1. 设置时间
timedatectl set-timezone Asia/Shanghai date
1.2. 设置SELinux
sed -i 's/enforcing/disabled/g' /etc/selinux/config setenforce 0 getenforce
1.3. 清空系统mysql
yum -y remove mysql 检查清空情况： rpm -qa | grep mysql 继续删除系统文件： rm -rf /var/lib/mysql/* rm -rf /etc/my.cnf rm -rf /etc/init.d/mysqld vim /etc/profile 删除与mysql相关内容
1.4. 安装依赖
wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo --epel源 yum -y install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager --skip-broken yum install glibc-common -y yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN -y
1.5. 设置防火墙
systemctl disable firewalld.service
systemctl stop firewalld.service
iptables -F
1.6. 安装mha-node
（所有节点安装）
下载地址：
https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
上传软件：
[root@manager ~]# cd /opt/mha/ [root@manager mha]# ll total 124 -rwxr-xr-x. 1 root root 87119 Feb 28 14:39 mha4mysql-manager-0.56-0.el6.noarch.rpm -rwxr-xr-x. 1 root root 36326 Feb 28 14:42 mha4mysql-node-0.56-0.el6.noarch.rpm [root@manager mha]# scp mha4mysql-* root@192.168.247.66:/opt/mha --上传给所有节点 root@192.168.247.66's password: mha4mysql-manager-0.56-0.el6.noarch.rpm 100% 85KB 24.8MB/s 00:00 mha4mysql-node-0.56-0.el6.noarch.rpm 100% 35KB 22.1MB/s 00:00 [root@manager mha]#
命令窗口安装
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
安装完成会出现以下文件：
[root@manager mha]# cd /usr/bin [root@manager bin]# ll app* filter* purge* save* -rwxr-xr-x. 1 root root 16367 Apr 1 2014 apply_diff_relay_logs -rwxr-xr-x. 1 root root 4807 Apr 1 2014 filter_mysqlbinlog -rwxr-xr-x. 1 root root 8261 Apr 1 2014 purge_relay_logs -rwxr-xr-x. 1 root root 7525 Apr 1 2014 save_binary_logs [root@manager bin]#
Node工具包（这些工具通常由MHA Manager的脚本触发，无需人为操作）主要包括以下几个工具：
save_binary_logs 保存和复制master的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog 去除不必要的ROLLBACK事件（MHA已不再使用这个工具）
purge_relay_logs 清除中继日志（不会阻塞SQL线程）
1.7. 安装MHAManager-node
（管理节点安装）
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
产生的文件：
[root@manager mha]# ll /usr/bin/mast* -rwxr-xr-x. 1 root root 1995 Apr 1 2014 /usr/bin/masterha_check_repl -rwxr-xr-x. 1 root root 1779 Apr 1 2014 /usr/bin/masterha_check_ssh -rwxr-xr-x. 1 root root 1865 Apr 1 2014 /usr/bin/masterha_check_status -rwxr-xr-x. 1 root root 3201 Apr 1 2014 /usr/bin/masterha_conf_host -rwxr-xr-x. 1 root root 2517 Apr 1 2014 /usr/bin/masterha_manager -rwxr-xr-x. 1 root root 2165 Apr 1 2014 /usr/bin/masterha_master_monitor -rwxr-xr-x. 1 root root 2373 Apr 1 2014 /usr/bin/masterha_master_switch -rwxr-xr-x. 1 root root 5171 Apr 1 2014 /usr/bin/masterha_secondary_check -rwxr-xr-x. 1 root root 1739 Apr 1 2014 /usr/bin/masterha_stop [root@manager mha]#
Manager工具包主要包括以下几个工具：
masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制状况
masterha_manger 启动MHA
masterha_check_status 检测当前MHA运行状态
masterha_master_monitor 检测master是否宕机
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的server信息
二、配置SSH免密登录
- manage主机可以免密登录所有数据库主机 --单向配置
- 数据库主机可以互相免密登录数据库主机 --互相免密
2.1. manage配置
[root@manager ~]# ssh-keygen 全部回车 [root@manager ~]# ssh-copy-id 192.168.247.66 （66、67、68）
2.2. master配置
[root@master ~]# ssh-keygen [root@master ~]# ssh-copy-id 192.168.247.67 （67、68）
2.3. slave01配置
[root@slave01 ~]# ssh-keygen [root@slave01 ~]# ssh-copy-id 192.168.247.66 （66、68）
2.4. slave02配置
[root@slave02 ~]# ssh-keygen [root@slave02 ~]# ssh-copy-id 192.168.247.66 （66、67）
三、搭建主从复制环境
（命令窗口执行）
3.1. 安装mysql
rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm --nodeps --force rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm --nodeps --force systemctl enabled mysqld systemctl enable mysqld systemctl start mysqld
3.2. 修改密码
- 关闭密码复杂度：vim /etc/my.cnf 在最后添加：validate-password=OFF）
- 命令窗口操作
sed '22i\validate-password=off' /etc/my.cnf -i grep password /var/log/mysqld.log
在每台虚拟机操作授权：
mysql> alter user 'root'@'localhost' identified by '123456'; mysql> grant all privileges on *.* to 'root'@'192.168.247.%' identified by '123456'; mysql> flush previliges; mysql> create database mha_db default character set utf8;
3.3. 设置主从同步
（247.66）
[root@master ~]# cat /etc/my.cnf |grep -v '^#'|grep -v ^$ [mysqld] server-id=66 binlog_format=mixed log-bin=mysql-bin-master datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock validate-password=off binlog-do-db=mha_db binlog-ignore-db=mysql symbolic-links=0 log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid [root@master ~]#
重启mysql：
[root@master ~]# systemctl restart mysqld
（247.67）
[root@slave01 ~]# cat /etc/my.cnf |grep -v '^#'|grep -v ^$ [mysqld] datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock server-id=67 log-bin=mysql-slave01 log_slave_updates=1 validate-password=off binlog-do-db=mha_db binlog-ignore-db=mysql symbolic-links=0 log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid [root@slave01 ~]#
重启mysql：
[root@master ~]# systemctl restart mysqld
执行SQL：
mysql> change master to -> master_user='slave', -> master_password='123456', -> master_host='192.168.247.66', -> master_port=3306, -> master_log_file='mysql-bin-master.000001', -> master_log_pos=154; mysql> start slave; mysql> show slave status\G
（247.68）
[root@slave02 ~]# cat /etc/my.cnf |grep -v '^#'|grep -v ^$ [mysqld] datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock server-id=68 log-bin=mysql-slave02 log_slave_updates=1 validate-password=off binlog-do-db=mha_db binlog-ignore-db=mysql symbolic-links=0 log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid [root@slave02 ~]#
重启mysql：
[root@master ~]# systemctl restart mysqld
执行SQL：
mysql> change master to -> master_user='slave', -> master_password='123456', -> master_host='192.168.247.66', -> master_port=3306, -> master_log_file='mysql-bin-master.000001', -> master_log_pos=154; mysql> start slave; mysql> show slave status\G
3.4. 创建库表
（247.66）
mysql> create table mha( id int(10), name varchar(20)); mysql> insert into mha values (1,'tansk'); mysql> insert into mha values (2,'tanmy');
因为开了主从同步，所有可以在两个主库查询mha表数据。
3.5. 设置从库read-only
（从库对外提供读服务，只所以没有写进配置文件，是因为slave随时会提升为master）
[root@slave01 ~]# mysql -uroot -p123456 -e 'set global read_only=1' [root@slave02 ~]# mysql -uroot -p123456 -e 'set global read_only=1'
3.6. 授权访问mysql
（所有服务器）
mysql> grant all privileges on *.* to 'root'@'192.168.247.%' identified by '123456'; mysql> flush privileges;
至此，集群环境准备完毕。
四、配置MHA
4.1. 创建MHA（247.65）的工作目录，并且创建相关的配置文件
（在软件包解压后的目录里有样例配置文件，配置文件里面最好不要写中文，即便已经注释）
[root@manager ~]# mkdir -p /etc/masterha [root@manager ~]# mkdir -p /var/log/masterha/app1 [root@manager ~]# chmod 755 /etc/masterha/app1.cnf [root@manager ~]# cat /etc/masterha/app1.cnf [server default] manager_workdir=/var/log/masterha/app1 manager_log=/var/log/masterha/app1/manager.log master_binlog_dir=/var/lib/mysql #master_ip_failover_script= /usr/local/bin/master_ip_failover --自动切换脚本 #master_ip_online_change_script= /usr/local/bin/master_ip_online_change --手动切换脚本 password=123456 user=root ping_interval=1 remote_workdir=/tmp repl_password=123456 repl_user=slave #report_script=/usr/local/send_report --发生切换时的警报脚本 #shutdown_script="" --故障发生后，关闭故障主机脚本 ssh_user=root [server1] hostname=192.168.247.66 port=3306 [server2] hostname=192.168.247.67 port=3306 candidate_master=1 check_repl_delay=0 [server3] hostname=192.168.247.68 port=3306 [root@manager ~]#
其它参数介绍：
[root@manager ~]# cat /etc/masterha/app1.cnf [server default] manager_workdir=/var/log/masterha/app1 #设置manager的工作目录 manager_log=/var/log/masterha/app1/manager.log #设置manager的日志 master_binlog_dir=/var/lib/mysql #设置master 保存binlog的位置，以便MHA可以找到master的日志，我这里的也就是mysql的数据目录 #master_ip_failover_script= /usr/local/bin/master_ip_failover #设置自动failover时候的切换脚本，这里没有写脚本，所以没有这一行 #master_ip_online_change_script= /usr/local/bin/master_ip_online_change #设置手动切换时候的切换脚本，这里没有写脚本，所以没有这一行 password=123456 #设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码 user=root #设置监控用户root ping_interval=1 #设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行railover remote_workdir=/tmp #设置远端mysql在发生切换时binlog的保存位置 repl_password=123456 #设置复制用户的密码 repl_user=slave #设置复制环境中的复制用户名 #report_script=/usr/local/send_report #设置发生切换后发送的报警的脚本，这里没有写脚本，所以没有这一行 shutdown_script="" #设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机放在发生脑裂,这里没有使用） ssh_user=root #设置ssh的登录用户名 [server1] hostname=192.168.247.66 port=3306 [server2] hostname=192.168.247.67 port=3306 candidate_master=1 #设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave check_repl_delay=0 #默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master [server3] hostname=192.168.247.68 port=3306 [root@manager ~]#
4.2. 设置relay-log的清除方式
（在每一个slave节点上）
[root@slave01 ~]# mysql -uroot -p123456 -e 'set global relay_log_purge=0' [root@slave02 ~]# mysql -uroot -p123456 -e 'set global relay_log_purge=0'
注意：
MHA在发生切换的过程中，从库的恢复过程中依赖于relay log的相关信息，所以这里要将relay log的自动清除设置为OFF，采用手动清除relay log的方式。在默认情况下，从服务器上的中继日志会在SQL线程执行完毕后被自动删除。但是在MHA环境中，这些中继日志在恢复其他从服务器时可能会被用到，因此需要禁用中继日志的自动删除功能。定期清除中继日志需要考虑到复制延时的问题。在ext3的文件系统下，删除大的文件需要一定的时间，会导致严重的复制延时。为了避免复制延时，需要暂时为中继日志创建硬链接，因为在Linux系统中通过硬链接删除大文件速度会很快。（在mysql数据库中，删除大表时，通常也采用建立硬链接的方式
4.3.检查SSH配置
（247.65）
[root@manager ~]# chmod 755 /etc/masterha/app1.cnf [root@manager ~]# masterha_check_ssh --conf=/etc/masterha/app1.cnf ...... Mon Mar 2 14:17:43 2020 - [info] All SSH connection tests passed successfully. （可以看到每个节点都显示：OK）
4.4. 检查复制环境的情况
（247.65）
第一次检查没有成功，是因为没有关闭防火墙 QAQ
所有服务器关闭防火墙：systemctl stop firewalld
[root@manager ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf ...... Mon Mar 2 14:56:39 2020 - [info] ok. Mon Mar 2 14:56:39 2020 - [warning] master_ip_failover_script is not defined. Mon Mar 2 14:56:39 2020 - [warning] shutdown_script is not defined. Mon Mar 2 14:56:39 2020 - [info] Got exit code 0 (Not master dead). MySQL Replication Health is OK. [root@manager ~]#
4.5. 开启MHA manager
[root@manager ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
启动参数介绍：
--remove_dead_master_conf 该参数代表当发生主从切换后，老的主库的ip将会从配置文件中移除。 --manger_log 日志存放位置 --ignore_last_failover 在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行Failover，之所以这样限制是为了避免ping-pong效应。该参数代表忽略上次MHA触发切换产生的文件，默认情况下，MHA发生切换后会在日志目录，也就是上面我设置的/data产生app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，这里设置为--ignore_last_failover。
4.6. 检查MHA manager状态
[root@manager ~]# masterha_check_status --conf=/etc/masterha/app1.cnf app1 (pid:22973) is running(0:PING_OK), master:192.168.247.66 [2]+ Exit 1 nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 [root@manager ~]#
4.7. 关闭MHA
方法一：
[root@manager ~]# ps -ef |grep masterha [root@manager ~]# kill -9 pid
方法二：
[root@manager ~]# masterha_stop --conf=/etc/masterha/app1.cnf Stopped app1 successfully. [1]+ Exit 1 nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 [root@manager ~]#
至此MHA配置设置完成
五、模拟故障
5.1. 开启新窗口，监控日志（247.65）
[root@manager ~]# echo null >/var/log/masterha/app1/manager.log [root@manager ~]# tailf /var/log/masterha/app1/manager.log null
5.2. 关闭数据库master
[root@master ~]# service mysqld stop 持续监控日志： [root@manager ~]# tailf /var/log/masterha/app1/manager.log null ^C [root@manager ~]# tailf /var/log/masterha/app1/manager.log ...... 出现如下日志： ----- Failover Report ----- app1: MySQL Master failover 192.168.247.66(192.168.247.66:3306) to 192.168.247.67(192.168.247.67:3306) succeeded Master 192.168.247.66(192.168.247.66:3306) is down! Check MHA Manager logs at manager:/var/log/masterha/app1/manager.log for details. Started automated(non-interactive) failover. The latest slave 192.168.247.67(192.168.247.67:3306) has all relay logs for recovery. Selected 192.168.247.67(192.168.247.67:3306) as a new master. 192.168.247.67(192.168.247.67:3306): OK: Applying all logs succeeded. 192.168.247.68(192.168.247.68:3306): This host has the latest relay log events. Generating relay diff files from the latest slave succeeded. 192.168.247.68(192.168.247.68:3306): OK: Applying all logs succeeded. Slave started, replicating from 192.168.247.67(192.168.247.67:3306) 192.168.247.67(192.168.247.67:3306): Resetting slave info succeeded. Master failover to 192.168.247.67(192.168.247.67:3306) completed successfully.
至此，数据库备库切换成功，MHA高可用得以验证
5.3. 恢复数据库
当原master恢复之后，
1.需要重新手动设置为master，并且将数据全部同步，保持数据一致性（也就是在进行一次主从设置，让他恢复主库的地位，也可以设置为slave，如果是设置为slave第二步的配置文件重写的时候就要将其添加为slave），
2.需要重写配置文件（/etc/masterha/app1.cnf ）因为前面发生故障的时候，配置文件已经自动发生内容修改了。
3.再将MHA重启，此时三台数据库又恢复了原始模样
