MHA高可用配置及故障切换
MySQL 主从复制集群高可用方案：keepalived 主备 、MHA 、MMM 、 MySQL Cluster 、PXC。
1.MHA概述
MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。
MHA 的出现就是解决MySQL 单点的问题。
MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。
MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。
传统的MySQL主从架构存在的问题
（1）MHA 的组件
MHA Node 数据库节点
MHA Manager 管理节点
（2）MHA 的工作原理
MHA Node 部署在每台MySQL服务器上，MHA Manager 可以单独部署在一台独立服务器上或者某个从库服务器上。
MHA Manager 会定时探测 MySQL 集群中master主库的状态，当主库出现故障，MHA Manager 会自动将一台拥有最新数据的slave从库提升为新的主库，也会在新的主库上生成 写入VIP， 然后还会将其它的从库重新指向新的主库做主从复制，从而保证MySQL集群的高可用。整个故障转移过程对客户端应用来说是完全透明的。
（3）MHA 的特点
自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
目前MHA支持一主多从架构，最少三台服务，即一主两从
2.搭建 MySQL MHA
1）在所有MySQL服务器都做主从复制授权，还要给 MHA manager 访问数据库的授权
2）做时间同步和主从复制配置，并设置从服务器为只读模式
3）所有MySQL服务器和 manager 服务器都安装 mha node 组件，manager 服务器还要安装 mha manager 组件
4）所有MySQL服务器都要相互设置SSH免交互登录
5）在 manager 服务器准备好 VIP故障切换脚本 和 MHA 配置文件
6）在 master主库 服务器上创建 VIP
7）在 manager 服务器用 masterha_check_ssh 和 masterha_check_repl 做 MHA 启动前检测，再使用 masterha_manager 启动 MHA 进程
8）做master故障转移测试（VIP会漂移到新master节点上，其它的从库会自动指向新的主库做主从复制，故障转移完成后MHA进程也会自动退出，MHA配置文件会自动删除原master的配置信息）
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
4）MHA manager 节点服务器20.0.0.150
Master、Slave1、Slave2 节点上安装 mysql5.7,具体安装步骤
https://www.cnblogs.com/zsy828/p/18247317
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config
disabled
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
4）MHA manager 节点服务器20.0.0.150
##开启mysql
systemctl status mysqld
##修改 Master、Slave1、Slave2、MHA manager节点的主机名
hostnamectl set-hostname mysql1 ##Master
hostnamectl set-hostname mysql2 ##Slave1
hostnamectl set-hostname mysql3 ##Slave2
hostnamectl set-hostname manager ##MHA manager
bash
vim /etc/hosts
20.0.0.140 mysql1
20.0.0.170 mysql2
20.0.0.110 mysql3
20.0.0.150 manager
修改对应节点的主机名
4）MHA manager 节点服务器20.0.0.150
##时间同步
systemctl start chronyd
systemctl status chronyd
vim /etc/chrony.conf
其余注释掉#
server ntp.aliyun.com iburst
systemctl restart chronyd
timedatectl
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
vim /etc/chrony.conf
其余注释掉#
server 20.0.0.150 iburst
systemctl restart chronyd
timedatectl
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
##修改 Master、Slave1、Slave2 节点的 Mysql主配置文件/etc/my.cnf
vim /etc/my.cnf
[mysqld]
server-id=1 ###Slave1=2、Slave2=3 #三台服务器的 server-id 不能一样
log_bin=mysql-bin
binlog_format=mixed
log-slave-updates=1
relay-log=relay-log-bin
relay-log-index=relay-log-bin.index
##在 Master、Slave1、Slave2 节点上都创建两个软链接
systemctl restart mysqld
ls /usr/local/mysql/bin/
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
##配置 mysql 一主两从，所有数据库节点进行 mysql 授权
mysql -uroot -pabc123
create user 'myslave'@'20.0.0.%' identified by 'myslave123';
grant replication slave on *.* to 'myslave'@'20.0.0.%' ;
create user 'manager'@'20.0.0.%' identified by 'manager123';
grant all on *.* to 'manager'@'20.0.0.%';
flush privileges;
##在 Master 节点查看二进制文件和同步点
show master status;
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
##在 Slave1、Slave2 节点执行同步操作
change master to master_host='20.0.0.140', master_port=3306, master_user='myslave', master_password='myslave123', master_log_file='mysql-bin.000001', master_log_pos=1225;
start slave;
show slave status\G ##确保 IO 和 SQL 线程都是 Yes，代表同步正常。
set global read_only=1; ##两个从库必须设置为只读模式：
插入数据测试数据库同步
1）Master节点服务器20.0.0.140
#在 Master 主库插入条数据，测试是否同步
show databases;
create database mydb;
use mydb;
create table xlb666(id int, name varchar(20), sex char(2));
insert into xlb666 values (1, 'zhangsan', '男');
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
show databases;
select * from mydb.xlb666;
所有服务器上都安装 MHA 依赖的环境，首先安装 epel 源
4）MHA manager 节点服务器20.0.0.150
vim /etc/yum.conf
cachedir=/opt/yumcache
keepcache=1
cd /opt
mkdir /opt/yumcache
cd /etc/yum.repos.d
mv repo.bak/* ./
mv local.repo repo.bak
cd /opt/yumcache
yum install -y epel-release
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN
mkdir mha
find ./ -name "*.rpm" -exec mv {} ./mha/ \; #将依赖包挪入该目录
scp -r mha/ 20.0.0.140:/opt #将包复制到主服务器
scp -r mha/ 20.0.0.170:/opt #将包复制到从服务器
scp -r mha/ 20.0.0.110:/opt #将包复制到从服务器
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
cd /opt
createrepo mha/ #自动生成yum数据库依赖关系
cd mha
vim /etc/yum.repos.d/local.repo
baseurl=file:///opt/mha
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
4）MHA manager 节点服务器20.0.0.150
安装 MHA 软件包，先在所有服务器上必须先安装 node 组件
cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL && make && make install
1）Master节点服务器20.0.0.140
2）Slave1节点服务器20.0.0.170
3）Slave2节点服务器20.0.0.110
4）MHA manager 节点服务器20.0.0.150
cd /opt
rz -E
#mha4mysql-node-0.57.tar.gz
tar xf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL && make && make install
4）MHA manager 节点服务器20.0.0.150
在 MHA manager 节点上安装 manager 组
cd /opt/
rz -E 上传
#mha4mysql-manager-0.57.tar.gz
tar xf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57/
perl Makefile.PL && make && make install
在所有服务器上配置无密码认证
4）MHA manager 节点服务器20.0.0.150
在 manager 节点上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa #一路按回车键
ssh-copy-id 20.0.0.140
ssh-copy-id 20.0.0.170
ssh-copy-id 20.0.0.110
1）Master节点服务器20.0.0.140
在 mysql1 上配置到数据库节点 mysql2 和 mysql3 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 20.0.0.170
ssh-copy-id 20.0.0.110
2）Slave1节点服务器20.0.0.170
在 mysql2 上配置到数据库节点 mysql1 和 mysql3 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 20.0.0.140
ssh-copy-id 20.0.0.110
3）Slave2节点服务器20.0.0.110
在 mysql3 上配置到数据库节点 mysql1 和 mysql2 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 20.0.0.170
ssh-copy-id 20.0.0.140
在 manager 节点上配置 MHA
4）MHA manager 节点服务器20.0.0.150
cd /opt/mha4mysql-manager-0.57/samples
cp -a scripts/ /usr/local/bin
cd /usr/local/bin
##复制上述的自动切换时 VIP 管理的脚本到 /usr/local/bin 目录，这里使用master_ip_failover脚本来管理 VIP 和故障切换
cp scripts/master_ip_failover /usr/local/bin
rz -E 上传
##master_ip_failover_2.txt
ls
vim master_ip_failover_2.txt 复制
vim master_ip_failover 粘贴
:set paste 回车 i键 ##粘贴不会混乱
my $vip = '20.0.0.80/24';
my $key = '1';
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";
my $ssh_Bcast_arp = "sudo /sbin/arping -I ens33 -c 3 -A $vip";
##复制上述的自动切换时 VIP 管理的脚本到 /usr/local/bin 目录，这里使用master_ip_failover脚本来管理 VIP 和故障切换
cd /usr/local/bin/scripts
cp master_ip_online_change power_manager /usr/local/bin/
cd /usr/local/bin/
chmod +x master_ip_failover
##创建 MHA 软件目录并拷贝配置文创建 MHA 软件目录并拷贝配置文件，这里使用app1.cnf配置文件来管理 mysql 节点服务器
#创建相关目录（所有节点）
cd /opt
mkdir /opt/mysql-mha
cd mysql-mha
mkdir mha-manager
mkdir mha-node
#编写配置文件
vim mysql_mha.cnf
[server default]
manager_log=/opt/mysql-mha/manager.log
manager_workdir=/opt/mysql-mha/mha-manager
remote_workdir=/opt/mysql-mha/mha-node
master_binlog_dir=/usr/local/mysql/data
ping_interval=1
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
user=manager
password=manager123
repl_user=myslave
repl_password=myslave123
port=3306
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 20.0.0.170 -s 20.0.0.110
shutdown_script=""
ssh_user=root
[server1]
hostname=20.0.0.140
port=3306
[server2]
candidate_master=1 #候选master
check_repl_delay=0
hostname= 20.0.0.170
port=3306
[server3]
hostname=20.0.0.110
port=3306
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $orig_master_host, $orig_master_ip,$ssh_user,
$orig_master_port, $new_master_host, $new_master_ip,$new_master_port,
$orig_master_ssh_port,$new_master_ssh_port,$new_master_user,$new_master_password
);
# 这里定义的虚拟IP配置要注意，这个ip必须要与你自己的集群在同一个网段，否则无效
my $vip = '192.168.80.200/24';
my $key = '1';
# 这里的网卡名称 “ens33” 需要根据你机器的网卡名称进行修改
# 如果多台机器直接的网卡名称不统一，有两种方式，一个是改脚本，二是把网卡名称修改成统一
# 我这边实际情况是修改成统一的网卡名称
my $ssh_start_vip = "sudo /sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "sudo /sbin/ifconfig ens33:$key down";
my $ssh_Bcast_arp= "sudo /sbin/arping -I ens33 -c 3 -A $vip";
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'orig_master_ssh_port=i' => \$orig_master_ssh_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
'new_master_ssh_port' => \$new_master_ssh_port,
'new_master_user' => \$new_master_user,
'new_master_password' => \$new_master_password
);
exit &main();
sub main {
$ssh_user = defined $ssh_user ? $ssh_user : 'root';
print "\n\nIN SCRIPT TEST====$ssh_user|$ssh_stop_vip==$ssh_user|$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
&start_vip();
&start_arp();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub start_arp() {
`ssh $ssh_user\@$new_master_host \" $ssh_Bcast_arp \"`;
}
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --ssh_user=user --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}
1）Master节点服务器20.0.0.140
##第一次配置需要在 Master 节点上手动开启虚拟IP
ifconfig ens33:1 20.0.0.80/24
4）MHA manager 节点服务器20.0.0.150
在 manager 节点上测试 ssh 无密码认证，如果正常最后会输出 successfully
masterha_check_ssh -conf=/opt/mysql-mha/mysql_mha.cnf
successfully
##在 manager 节点上测试 mysql 主从连接情况
masterha_check_repl -conf=/opt/mysql-mha/mysql_mha.cnf
MySQL Replication Health is OK
在 manager 节点上启动 MHA
nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &
ps aux | grep 65146
##查看 MHA 状态，可以看到当前的 master 是 mysql1 节点
masterha_check_status -conf=/opt/mysql-mha/mysql_mha.cnf
3.故障模拟
4）MHA manager 节点服务器20.0.0.150
vim /opt/mysql-mha/manager.log
tail -f /opt/mysql-mha/manager.log #在 manager 节点上监控观察日志记录
1）Master节点服务器20.0.0.140
systemctl stop mysqld
2）Slave1节点服务器20.0.0.170
ifconfig
3）Slave2节点服务器20.0.0.110
mysql -uroot -pabc123
show slave status\G
4.故障修复
1）Master节点服务器20.0.0.140
systemctl start mysqld
在现主库服务器 mysql2 查看二进制文件和同步点
2）Slave1节点服务器20.0.0.170
mysql -uroot -pabc123
show master status;
在原主库服务器 mysql1 执行同步操作
1）Master节点服务器20.0.0.140
mysql -uroot -pabc123
change master to master_host='20.0.0.170', master_port=3306, master_user='myslave', master_password='myslave123', master_log_file='mysql-bin.000001', master_log_pos=2171;
在 manager 节点上修改配置文件,再把这个记录添加进去，因为它检测掉失效时候会自动消失）
4）MHA manager 节点服务器20.0.0.150
vim /opt/mysql-mha/mysql_mha.cnf
20.0.0.140 -s 20.0.0.110
[server1]
hostname=20.0.0.140
port=3306
在 manager 节点上启动 MHA
nohup masterha_manager \
--conf=/opt/mysql-mha/mysql_mha.cnf \
--remove_dead_master_conf \
--ignore_last_failover < /dev/null > /var/log/mha_manager.log 2>&1 &
ps aux | grep 65146
##查看 MHA 状态，可以看到当前的 master 是 mysql1 节点
masterha_check_status -conf=/opt/mysql-mha/mysql_mha.cnf
在现主库服务器 mysql2 关闭数据库，重新开启
2）Slave1节点服务器20.0.0.170
systemctl stop mysqld
systemctl restart mysqld
####授权配置错误修正
STOP SLAVE;
RESET SLAVE;
