一、mysql主从复制介绍
mysql的主从复制并不是数据库磁盘上的文件直接拷贝,而是通过逻辑的binlog日志复制到要同步的服务器本地,
然后由本地的线程读取日志里面的sql语句,重新应用到mysql数据库中。
mysql数据库支持单向,双向,链式级联,环状等不同业务场景的复制,一台服务器充当主服务器master,接收来自用户的更新,
而一个或多个其他服务器充当从服务器slave,接收来自主服务器binlog文件的日志内容,解析出sql,更新到从服务器。
1 2 3 4 5 | 一主一从 (A -> B, A为主,B为从) 一主多从 (A -> B, A -> C, A为主,B与C为从) 双主双向同步 (A -> B , B -> A , A与B同为主,互相备份) 线性级联 (A -> B -> C , A与B主主互备,C为从) 环状级联 (A -> B -> C -> A, A、B、C都为主,各节点都可写入数据) |
二、实现mysql主从读写分离的方案
1 2 3 | 1、通过程序实现读写分离(判断语句关键字,去连接主从数据库) 2、通过开源的软件实现读写分离(mysql-proxy,amoeba,稳定性和功能一般,不建议生产使用) 3、独立开发DAL层软件 |
三、mysql主从复制原理介绍
mysql主从复制是一个异步的复制过程,将一个主库复制到一个从库,master与slave之间实现整个过程是由三个线程参与完成。
其中sql线程与I/O线程在slave端,另一个I/O线程在master端。
复制原理过程
1 2 3 4 5 6 7 8 | 1、在slave上执行start slave命令,开启主从复制开关,开始进行主从复制。 2、slave的I/O线程通过master上已经授权的复制用户请求master,请求指定binlog日志的指定位置。 3、master接收slave的I/O线程的请求后,其自身负责复制的I/O线程会根据slave的请求信息分批读取指定binlog日志的指定位置之后的日志信息, 然后返回给slave的I/O线程,返回信息除了binlog日志外,还有master的新binlog文件名称,以及新binlog中的下一个指定更新位置。 4、slave获取来自master上I/O线程发送的binlog日志内容,日志文件及位置点后,会将binlog内容依次写到slave自身的relay log(中继日志)文件尾部, 并将新的binlog文件名和位置记录到master-info文件中,以便下次从master读取新binlog日志时,能告诉master从新binlog的新位置读取。 5、slave的sql线程会实时检测本地relay log中I/O线程新增加的日志内容,及时把relay log文件中的内容解析成sql语句,并按解析sql语句的位置顺序执行这些sql语句。 relay-log.info中记录当前应用中继日志的文件名及位置点。 |
四、mysql主从复制操作
我这里是mysql单机多实例,3306、3308、3309
主库为3306,从库为3308,3309
(1)、在master主库上
1、设置server-id值并开启binlog功能
1 | > vi /etc/my.cnf |
[mysqld]
#用于同步的每台机器server-id都不能相同
1 2 | server-id = 10 log-bin = /data/mysql56/data/mysql-bin |
2、重启主库
1 | > service mysqld restart |
3、登陆主库,查看server-id
1 2 | > mysql -uroot -p > show variables like 'server_id' ; |
4、主库上建立用于从库复制的账号
1 2 3 4 | > grant replication slave on *.* to "rep" @ "%" identified by "123456" ; > flush privileges; > select user,host from mysql.user; > show grants for rep@ "%" ; |
5、对主库数据库锁表只读(当前窗口不要关掉)
1 | > flush table with read lock; |
查看主库状态
1 | > show master status; |
6、备份主库所有数据文件
1 | > mysqldump -uroot -p -A -B | gzip > /data/mysql_bak.$( date +%F).sql.gz |
7、备份完主库数据后,解锁
1 | > unlock tables; |
8、把主库导出的数据迁移到从库
(2)、在slave从库上
1、设置server-id值并关闭binlog功能
有两种情况下需打开binlog
级联同步A->B->C中间的B,就要开启binlog
在从库做数据库备份,必须要有全备和binlog日志才是完整备份。
1 | > vi /mysql-instance/3308/my.cnf |
1 2 3 4 | [mysqld] server-id = 11 relay-log = /mysql-instance/3308/relay-bin relay-log-info-file = /mysql-instance/3308/relay-log.info |
2、重启从库
1 | > /mysql-instance/3308/mysql restart |
3、登陆从库检查参数
1 2 3 | > mysql -uroot -p -S /mysql-instance/3308/mysql.sock > show variables like 'log_bin' ; > show variables like 'server_id' ; |
4、把主库mysqldump导出的数据恢复到从库
1 | > gzip -d /data/mysql_bak.2017-01-15.sql.gz |
把主库数据还原到从库
1 | > mysql -uroot -p -S /mysql-instance/3308/mysql.sock < /data/mysql_bak.2017-01-15.sql |
5、登录从库,配置复制参数
1 2 3 4 5 6 7 | CHANGE MASTER TO MASTER_HOST= '127.0.0.1' , MASTER_PORT=3306, MASTER_USER= 'rep' , MASTER_PASSWORD= '123456' , MASTER_LOG_FILE= 'mysql-bin.000001' , MASTER_LOG_POS=396; |
注意上面的MASTER_LOG_FILE和MASTER_LOG_POS是在主库中用show master status;查看的信息。
查看master.info文件
1 | > cat /mysql-instance/3308/data/master.info |
6、启动从库同步开关,测试主从复制情况
1 2 3 | > mysql -uroot -p -S /mysql-instance/3308/mysql.sock -e "start slave;" > mysql -uroot -p -S /mysql-instance/3308/mysql.sock -e "show slave status\G;" > mysql -uroot -p -S /mysql-instance/3308/mysql.sock -e "show slave status\G" | egrep "IO_Running|SQL_Running|_Behind_Master" |
7、测试主从复制
1 2 | > mysql -uroot -p -e "create database wohehe;" > mysql -uroot -p -S /mysql-instance/3308/mysql.sock -e "show databases;" |
五、mysql主从复制线程状态说明及用途
1、主库线程的同步状态
1 | > show processlist\G; |
1 2 3 4 5 6 7 8 9 | *************************** 1. row *************************** Id: 5 User: rep Host: localhost:47605 db: NULL Command: Binlog Dump Time: 4728 State: Master has sent all binlog to slave; waiting for binlog to be updated Info: NULL |
说明主库线程已从binlog读取更新,发送到了从库,线程处理空闲状态,等待binlog的事件更新。
2、从库线程的同频状态
1 | > show processlist\G; |
1 2 3 4 5 6 7 8 9 | *************************** 2. row *************************** Id: 6 User: system user Host: db: NULL Command: Connect Time: 5305 State: Slave has read all relay log; waiting for the slave I/O thread to update it Info: NULL |
说明从库已读取所有中继日志,等待从库I/O线程的更新。
六、主从复制故障
如果我在从库上创建了一个库,然后去主库创建同名的库,那么这就会冲突了。
1 | > show slave status; |
1 2 3 4 | Slave_IO_Running: Yes Slave_SQL_Running: No Seconds_Behind_Master: NULL Last_Error: Error 'Can' t create database 'xxxxx' ; database exists ' on query. Default database: ' xxxxx '. Query: ' create database xxxxx' |
对于该冲突解决方法
方法一
1 2 3 4 | > stop slave; #将同步指针移动下一个,如果多次不同步,可重复操作 > set global sql_slave_skip_counter = 1; > start slave; |
方法二
1 | > vi /mysql-instance/3308/my.cnf |
1 2 | #把可以忽略的错误号事先在配置文件中配置 slave-skip-errors = 1002,1007,1032 |
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 字符编码:从基础到乱码解决