MySQL-MGR
1. 介绍
MGR(MySQL Group Replication)是MySQL官方在MySQL 5.7.17版本中以插件形式推出的主从复制高可用技术，它基于原生的主从复制，将各节点归入到一个组中，通过组内节点的通信协商(组通信协议基于Paxos算法)，实现数据的强一致性、故障探测、冲突检测、节点加组、节点离组等等功能。
1.1 工作模式
组复制以单主模式或多主模式运行。通过group_replication_single_primary_mode=[ON|OFF] 变量指定工作模式。 组内所有成员都必须运行相同得工作模式。 ON表示单主模式，这是默认模式，OFF表示多主模式。
单主模式：从复制组中众多个MySQL节点中自动选举一个master节点，只有master节点可以写，其他节点自动设置为read only。当master节点故障时，会自动选举一个新的master节点，选举成功后，它将设置为可写，其他slave将指向这个新的master。
多主模式：复制组中的任何一个节点都可以写，因此没有master和slave的概念，只要突然故障的节点数量不太多，这个多主模型就能继续可用。
1.2 单主模式主要选主算法
1）第一个考虑因素通过成员运行的MySQL Server软件版本（补丁版本）进行排序
2）第二个因素依据每个成员的权重group_replication_member_weigth参数控制，【5.7.20引入变量】默认为50
3）第三个因素UUID的词典顺序（变量server_uuid控制），UUID最低的成员被选为新主
1.3 容错
MySQL组复制使用Paxos分布式算法来提供节点间的分布式协调。正因如此，它要求组中大多数节点在线才能达到法定票数，从而对一个决策做出一致的决定。
大多数指的是N/2+1(N是组中目前节点总数)，例如目前组中有5个节点，则需要3个节点才能达到大多数的要求。所以，允许出现故障的节点数量如下图：
2. 实验环境搭建
2.1 单主模式
1）配置复制账号
# 全新环境
-- set password=password('root');
create user 'sync'@'192.168.10.%' identified by 'sync';
grant replication slave on *.* to 'sync'@'192.168.10.%';
flush privileges;
# 线上环境新增账号
SET SQL_LOG_BIN=0;
CREATE USER sync@'192.168.10.%' IDENTIFIED BY 'sync';
GRANT REPLICATION SLAVE ON *.* TO sync@'192.168.10.%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
select user,host,authentication_string from mysql.user;2）参数文件配置
# GTID gtid_mode=on enforce-gtid-consistency=on binlog_gtid_simple_recovery=1 binlog_checksum=NONE log-slave-updates=on master_info_repository=TABLE relay_log_info_repository=TABLE # MGR 复制 transaction_write_set_extraction = XXHASH64 loose-group_replication_group_name = '32078389-702d-11ea-95da-000c2960a1c6' loose-group_replication_ip_whitelist = '127.0.0.1/24,192.168.10.0/24' loose-group_replication_start_on_boot = OFF loose-group_replication_local_address = '192.168.10.181:33061' # 替换本地服务器IP及通讯端口 loose-group_replication_group_seeds = '192.168.10.181:33061,192.168.10.181:33062,192.168.10.181:33063' loose-group_replication_bootstrap_group = OFF loose-group_replication_single_primary_mode = true loose-group_replication_enforce_update_everywhere_checks = false loose-group_replication_member_weight=50 # mysql 5.7.20才开始支持该选项 权重：新主选举时的优先级参照，越大，优先级越高 group_replication_flow_control_mode='DISABLED' # 建议关闭流控
3）安装插件
# 动态安装插件 INSTALL PLUGIN group_replication SONAME 'group_replication.so'; show plugins; # 配置文件加载插件 group_replication=group_replication.so plugin-load="rpl_semi_sync_master=semisync_master.so;rpl_semi_sync_slave=semisync_slave.so;group_replication=group_replication.so"
4）配置组成员
# mysql 3308 -- 首个实例 #1 查看当前的group replication相关参数是否配置有误 show global variables like 'group%'; #2 配置MGR -- 开启分布式复制 CHANGE MASTER TO MASTER_USER='sync', MASTER_PASSWORD='sync' FOR CHANNEL 'group_replication_recovery'; #3 # 设置group_replication_bootstrap_group为ON是为了标示以后加入集群的服务器以这台服务器为基准，以后加入的就不需要设置 SET GLOBAL group_replication_bootstrap_group=ON; #4 启动MGR start group_replication; #5 关闭 group_replication_bootstrap_group SET GLOBAL group_replication_bootstrap_group=OFF; #6 #检测组是否创建并已加入新成员 select * from performance_schema.replication_group_members; # 其它实例配置 #1 查看当前的group replication相关参数是否配置有误 show global variables like 'group%'; #2 配置MGR -- 开启分布式复制 CHANGE MASTER TO MASTER_USER='sync', MASTER_PASSWORD='sync' FOR CHANNEL 'group_replication_recovery'; #3 启动MGR 注意：# 这里不再需要开启group_replication_bootstrap_group，由于复制组已经被创建了，只需要将第二个节点添加进去即可 start group_replication; #4 #检测组是否创建并已加入新成员 select * from performance_schema.replication_group_members;
5）监控
# 相关状态查看
# 1、当前组成员列表
select * from performance_schema.replication_group_members;
# 2、当前节点详细日志应用信息
select * from performance_schema.replication_group_member_stats;
# 3、当前复制渠道连接信息
select * from performance_schema.replication_connection_status;
# 4、当前复制渠道应用信息
select * from performance_schema.replication_applier_status;
# 5、当前主master (单主模式)
select a.variable_value,b.member_host,b.member_port,member_state
from performance_schema.global_status a ,performance_schema.replication_group_members b
where a.variable_value=b.member_id and variable_name= 'group_replication_primary_member';
SHOW STATUS LIKE 'group_replication_primary_member';
select b.member_host the_master,a.variable_value master_uuid
from performance_schema.global_status a
join performance_schema.replication_group_members b
on a.variable_value = b.member_id
where variable_name='group_replication_primary_member';
# 可用性监控
selecct member_state from replication_group_members where member_id=@@server_uuid;
# 延迟
select (SELECT Received_transaction_set FROM performance_schema.replication_connection_status WHERE Channel_name = 'group_replication_applier') - (select @@global.gtid_executed);
-- 远程节点GTID
SELECT Received_transaction_set FROM performance_schema.replication_connection_status WHERE Channel_name = 'group_replication_applier';
-- 本地节点 GTID
select @@global.gtid_executed;
# 当前节点是否可以写
select * from performance_schema.global_variables where variable_name in ('read_only', 'super_read_only');2.2 多主模式
# 多主模式和单主模式配置方式一样，只需将修改或增加以下参数后配置组成员 loose-group_replication_single_primary_mode=FALSE loose-group_replication_enforce_update_everywhere_checks = TRUE
3. 工作模式切换
3.1 单主切换成多主模式
# MGR切换模式需要重新启动组复制，因此需要在所有节点上先关闭组复制， #设置 group_replication_single_primary_mode=OFF 等参数，再启动组复制。 1) 停止组复制(在所有MGR节点上执行)： stop group_replication; set global group_replication_single_primary_mode=OFF; set global group_replication_enforce_update_everywhere_checks=ON; 2) 随便选择某个MGR节点执行 (比如这里选择在3308端口实例): SET GLOBAL group_replication_bootstrap_group=ON; START GROUP_REPLICATION; SET GLOBAL group_replication_bootstrap_group=OFF; 3) 然后在其他的MGR节点执行 (这里指3309和3310端口实例上执行): START GROUP_REPLICATION; 4) 查看MGR组信息 (在任意一个MGR节点上都可以查看) SELECT * FROM performance_schema.replication_group_members;
3.2 多主切换单主模式
# 多主切回单主模式 1) 停止组复制(在所有MGR节点上执行)： stop group_replication; set global group_replication_enforce_update_everywhere_checks=OFF; set global group_replication_single_primary_mode=ON; 2) 选择一个节点作为主节点, 在主节点上执行 (这里选择3308端口作为主) SET GLOBAL group_replication_bootstrap_group=ON; START GROUP_REPLICATION; SET GLOBAL group_replication_bootstrap_group=OFF; 3) 在其他剩余的节点, 也就是从库节点上执行 (这里从库节点指的就是3309和3310): START GROUP_REPLICATION; 4) 查看MGR组信息 (在任意一个MGR节点上都可以查看) SELECT * FROM performance_schema.replication_group_members;
4. 参数调优
slave_parallel_type -> LOGICAL_CLOCK # 增强sql_thread 并行数量 slave_parallel_workers -> 2~8 # 流控(flow control) 在MGR中如果节点落后集群中其它成员太多，就会发起让其它节点等他完成在做的控制，这个叫流控。 当启用： group_replication_flow_control_mode=QUOTA 是表示启用流控。 流控默认通过两个参数控制： group_replication_flow_control_applier_threshold (默认: 25000) group_replication_flow_control_certifier_threshold (默认: 25000) 默认延迟在25000个GTID时，会对整个集群Block住写操作 # 建议关闭流控 set global group_replication_flow_control_mode='DISABLED';
