使用GTID同步RDS到自建mysql
使用GTID同步RDS到自建mysql
这篇博客应该是我春节结束前关于工作上的最后一篇博客。。。
在我上家公司里，经常做mysql传统方式下的主从同步，面试题也经常考。而这个GTID（全局事务标识）同步数据库，跟这个主从同步的部署很像，但相比更加简单，而且安全。
GTID的工作原理：
（1）当一个事务在主库端执行并提交时，产生GTID，一同记录到binlog日志中；（所以要确保主库打开了binlog日志） binlog传输到slave,并存储到slave的relaylog后，读取这个GTID的这个值设置gtid_next变量，即告诉Slave，下一个要执行的GTID值； （2）sql线程从relay log中获取GTID，然后对比slave端的binlog是否有该GTID； 如果有记录，说明该GTID的事务已经执行，slave会忽略； 如果没有记录，slave就会执行该GTID事务，并记录该GTID到自身的binlog，在读取执行事务前会先检查其他session持有该GTID，确保不被重复执行； （3）在解析过程中会判断是否有主键，如果没有就用二级索引，如果没有就用全部扫描。
简单回顾下，mysql主从配置过程
1、安装实例，确认基本配置一致 （1）主从数据库大版本一致，5.6同步5.6，5.7同步5.7，如果需要跨版本复制，从库版本 >= 主库版本号 （2）主从配置文件的server_id 要不一样，主库开启log-bin （3）主库全量复制一份数据到从库上 2、准备从库基准数据，同时确定此基准数据对应主库上的同步点（二进制日志名：MASTER_LOG_FILE，MASTER_LOG_POS：偏移量值）的组合
3、使用准备的基准数据，启动从库 4、主库创建从库所需要的复制账号 5、change master，创建从库到主库的复制配置信息（ip，port，repl-user，repl_password，repl_pos） 6、start slave启动复制 7、show slave status 检测复制状态
一、部署
参考链接：
（2）原理讲解可以看下这个：
https://www.cnblogs.com/heijinli/p/13380389.html
https://brucewayne2099.github.io/2019/09/26/%E4%BD%BF%E7%94%A8GTID%E5%A4%87%E4%BB%BD%E9%98%BF%E9%87%8C%E4%BA%91RDS%E5%88%B0%E8%87%AA%E5%BB%BAMYSQL/
我的测试环境：主库为阿里云RDS mysql 5.7.37，从库为自建 mysql 5.7.24（用的是rpm安装：mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar）
使用GTID的话，主要是上面的第2步开始有所不同
1、配置主库，授权数据库和账号
create user '同步数据库账号'@'%' identified by '密码'; grant all privileges on 同步数据库名.* to '同步数据库账号'@'%';
2、配置从库，修改从库mysql的配置文件，需要打开gtid模式
cat /etc/my.cnf
。。。 ####RDS to mysql #### server-id =1001 #不可与RDS主库id相同 port =3306 replicate-do-db = {需要同步的数据库名} binlog_format = row #日志文件格式 log-bin = mysql-bin log-bin-index = mysql-bin.index relay-log = relay-log relay_log_index = relay-log.index slave-skip-errors = all gtid_mode = on #开启GTID模式 enforce_gtid_consistency = on #强制GTID的一致性 log-slave-updates = 1 sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES 。。。
3、配置主从同步
（1）进入RDS主库，查询GTID
show global variables like 'gtid_purged';
可以看到GTID由两个部分组成： source_id（GTID传递到从库的服务器ID）:transaction_id（当前服务器上已提交事务的序列号，会一直变化）
（2）进入ECS自建的从库
mysql> stop slave; mysql> set global gtid_purged = '0467af4a-5fc8-11ed-a559-00163e128475:1-11070,0794bfdb-5fc8-11ed-a07a-00163e147c49:1-1415';
注意：设置gtid_purged值时，gtid_executed值必须为空否则报错，该值清空的方法就是reset master命令
mysql>reset master;
（3）执行同步
mysql>CHANGE MASTER TO MASTER_HOST='rm-wzxxxxxxqzp8.mysql.rds.aliyuncs.com', MASTER_PORT=3306, MASTER_USER='同步账号', MASTER_PASSWORD='同步账号密码', master_auto_position=1; mysql>start slave; mysql>show slave status\G;
写的有点敷衍，没有做深究，纯粹留个纪念，代表有做过，哈哈哈~~~
