MySQL主从复制
DB哥MySQL高级教程-系统学习MySQL共149课时
关注公众号免费学：DB哥
文末有MySQL高级课程目录
1.为什么要做主从复制
做主从复制的目的，并不是为了备份
为了解决主库的单点故障
为了减少主库的压力（读写分离）
复制是 MySQL 的一项功能，允许服务器将更改从一个实例复制到另一个实例。
1）主服务器将所有数据和结构更改记录到二进制日志中。
2）从属服务器从主服务器请求该二进制日志并在本地应
用其内容。
3）IO：请求主库，获取上一次执行过的新的事件，并存放到relaylog
4）SQL：从relaylog中将sql语句翻译给从库执行
2。主从复制相关线程和文件
# 线程
dump线程：主库上的线程，从binlog中取出数据交给从库的IO线程
IO线程：从库上的线程，连接主库dump线程取数据，取到数据写入缓存（relay log中）
SQL线程：从库上的线程，执行relay log中的SQL语句到数据库中
# 文件
binlog日志：主库上的文件，记录所有更改库表的语句
master.info：从库上的文件，记录主库的binlog名字和位置点，IO线程更新/读取
relay-log.info：从库上的文件，记录relay-log里的位置点，上一次SQL线程读取到哪里了，SQL线程更新/读取
relay-log：从库上的文件，记录从主库binlog拿来的新数据
3.MySQL主从复制原理
4.主从复制前提条件
1）两台或两台以上的数据库实例
2）主库要开启二进制日志
3）主库要有复制用户
4）主库的server_id和从库不同
5）从库需要在开启复制功能前，要获取到主库之前的数据（主库备份，并且记录binlog当时位置）
6）从库在第一次开启主从复制时，时必须获知主库：ip，port，user，password，logle，pos
P：10.0.0.51 Port：3306 User：rep Password：oldboy123 logFile：mysql-bin.000002 Pos：120
7）从库要开启相关线程：IO、SQL
8）从库需要记录复制相关用户信息，还应该记录到上次已经从主库请求到哪个
二进制日志
9）从库请求过来的binlog，首先要存下来，并且执行binlog，执行过的信息保存下来
文字版原理
1）通过change master to语句告诉从库主库的ip，port，user，password，le，pos
2）从库通过start slave命令开启复制必要的IO线程和SQL线程
3）从库通过IO线程拿着change master to用户密码相关信息，连接主库，验证合
法性
4）从库连接成功后，会根据binlog的pos问主库，有没有比这个更新的
5）主库接收到从库请求后，比较一下
binlog信息，如果有就将最新数据通过dump线程给从库IO线程
6）从库通过IO线程接收到主库发来的binlog事件，存储到TCP/IP缓存中，并返回ACK更新master.info
7）将TCP/IP缓存中的内容存到relay-log中
8）SQL线程读取relay-log.info，读取到上次已经执行过的relay-log位置点，继续执行后续的relay-log日志，执行完成后，更新relaylog.info
主从复制搭建（数据一致）
| 主机名 | wanip | lanip | 角色 | 数据 |
|---|---|---|---|---|
| db01 | 10.0.0.51 | 172.16.1.51 | Master | 有 |
| db02 | 10.0.0.52 | 172.16.1.52 | Slave | 无 |
5.主库操作
# 修改配置文件
[root@db01 ~]# vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
server_id=1
# 重启
[root@db01 ~]# systemctl restart mysqld
# 给主库做全备
[root@db01 ~]# mysqldump -uroot -p123 -A -R --triggers --master-data=2 --singletransaction|gzip > /opt/full.sql.gz
# 将全备拷贝到从库
[root@db01 ~]# scp /opt/full.sql.gz 172.16.1.52:/opt/
# 创建一个主从复制用户
mysql> grant replication slave on *.* to rep@'172.16.1.%' identified by '123';
Query OK, 0 rows affected (0.00 sec)
# 查看主库master状态
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 326 | | | |
+------------------+----------+--------------+------------------+-------------------+
# 启停SQL线程
mysql> stop slave sql_thread;
mysql> start slave sql_thread;
# 启停IO线程
mysql> stop slave io_thread;
mysql> start slave io_thread;
6.从库操作
# 修改从库配置文件
[root@db02 ~]# vim /etc/my.cnf
[mysqld]
server_id=2
# 重启数据库
[root@db02 ~]# systemctl restart mysqld
# 导入数据库
[root@db02 ~]# zcat /opt/full.sql.gz |mysql -uroot -p
# 查找位置点
[root@db02 ~]# zcat /opt/full.sql.gz |head -25
# 执行change master to 语句
CHANGE MASTER TO
MASTER_HOST='172.16.1.51',
MASTER_USER='rep',
MASTER_PASSWORD='123',
MASTER_LOG_FILE='mysql-bin.000002',
MASTER_LOG_POS=40783;
# 开启主从复制
mysql> start slave;
# 查看主从复制状态
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
# 开启主从复制
start slave;
# 关闭主从复制:
stop slave;
# 重置主从复制：
stop slave;
reset slave all;
7.主从复制故障处理
# 查看状态
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
# ID线程故障
mysql> show slave status\G
Slave_IO_Running: No
Slave_SQL_Running: Yes
Ip错了
用户名错了
密码错了
文件名错了
CHANGE MASTER TO
MASTER_HOST='172.16.1.61',
MASTER_USER='rep',
MASTER_PASSWORD='123',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=40783; // 不影响IO线程
# 排查流程
# IP错了：
[root@db02 ~]# ping 172.16.1.61
# 端口报错：
[root@db02 ~]# telnet 172.16.1.61 3306
# 用户名错了 和 密码错了：
[root@db02 ~]# mysql -urep -p123 -h172.16.1.61
# 报错
Warning: Using a password on the command line interface can be insecure.
ERROR 1045 (28000): Access denied for user 'rep'@'db01' (using password: YES)
# 解决办法（反向域名解析）
vim /etc/my.cnf
[mysqld]
skip_name_resolve
/etc/init.d/mysqld restart
# 文件名错了
zcat /opt/full.sql.gz |head -25
CHANGE MASTER TO
MASTER_HOST='172.16.1.51',
MASTER_USER='rep',
MASTER_PASSWORD='123',
MASTER_LOG_FILE='mysql-bin.000002',
MASTER_LOG_POS=40783;
# 解决方案：
stop slave;
reset slave all;
CHANGE MASTER TO
MASTER_HOST='172.16.1.51',
MASTER_USER='rep',
MASTER_PASSWORD='123',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=40783;
start slave;
# 2.SQL线程故障
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: No
# 主库从库数据不一致导致
# 查看状态
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: No
Last_Errno: 1049
Last_Error: Error 'Unknown database 'test_sql_thread'' on query. Default database:
'test_sql_thread'. Query: 'create table tb1(id int)'
# 解决方案一：（治标不治本）
1.停止从库的主从复制
mysql> stop slave;
2.跳过一次错误
mysql> set global sql_slave_skip_counter=1;
3.开启主从复制
mysql> start slave;
# 解决方案二：（治标不治本）
[root@db02 ~]# vim /etc/my.cnf
[mysqld]
slave-skip-errors=1032,1062,1007,1049,1146
[root@db02 ~]# /etc/init.d/mysqld restart
# 解决方案三
1.重新备份数据库，恢复到从库
2.给从库设置为只读
# 在命令行临时设置
set global read_only=1;
# 在配置文件中永久生效
read_only=1
# 解决方案四
# 临时停止同步
mysql> stop slave;
# 将同步指针向下移动一个（可重复操作）
mysql> set global sql_slave_skip_counter=1;
# 开启同步
mysql> start slave;
8.延时从库
配置延时从库
# 先停止slave
mysql> stop slave;
# 设置主从延时
change master to master_delay=120;
# 3.开启主从复制
mysql> start slave;
# 4.查看状态
mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
SQL_Delay: 120
# 5.没有主从时，配置
CHANGE MASTER TO
MASTER_HOST='172.16.1.51',
MASTER_USER='rep',
MASTER_PASSWORD='123',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=189016,
MASTER_DELAY=120;
# 6.验证延时情况
mysql> show slave status\G
SQL_Remaining_Delay: 93
9.MySQL的半同步复制
从MYSQL5.5开始，支持半自动复制。之前版本的MySQL Replication都是异步（asynchronous）的，主库在执行完一些事务后，是不会管备库的进度的。如果备库不幸落后，而更不幸的是主库此时又出现Crash（例如宕机），这时备库中的数据就是不完整的。简而言之，在主库发生故障的时候，我们无法使用备库来继续提供数据一致的服务了。
半同步复制（Semi synchronous Replication）则一定程度上保证提交的事务已经传给了至少一个备库。
出发点是保证主从数据一致性问题，安全的考虑。
5.5 出现概念，但是不建议使用，性能太差
5.6出现group commit 组提交功能，来提升开启半同步复制的性能
5.7更加完善了，在group commit基础上出现了MGR
5.7的增强半同步复制的新特性：after commit； after sync；
半同步复制配置
# 1.是否动态支持半同步复制
mysql> show global variables like 'have_dynamic_loading';
+----------------------+-------+
| Variable_name | Value |
+----------------------+-------+
| have_dynamic_loading | YES |
+----------------------+-------+
# 2.插件的路径
[root@db02 plugin]# pwd
/application/mysql/lib/plugin
-rwxr-xr-x 1 mysql mysql 436234 Sep 23 2020 semisync_master.so
-rwxr-xr-x 1 mysql mysql 259318 Sep 23 2020 semisync_slave.so
# 3.主库安装半同步插件
mysql> install plugin rpl_semi_sync_master soname'semisync_master.so';
# 4.启动插件
mysql> set global rpl_semi_sync_master_enabled = 1;
# 5.设置超时时间
mysql> set global rpl_semi_sync_master_timeout = 1000;
# 6.修改配置文件
[root@m01 ~]# vim /etc/my.cnf
[mysqld]
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=1000
# 7.检查安装
mysql> show variables like'rpl%';
+------------------------------------+----------+
| Variable_name | Value |
+------------------------------------+----------+
| rpl_semi_sync_master_enabled | ON |
| rpl_semi_sync_master_timeout | 1000 |
| rpl_semi_sync_master_trace_level | 32 |
| rpl_semi_sync_master_wait_no_slave | ON |
| rpl_stop_slave_timeout | 31536000 |
+------------------------------------+----------+
# 8.查看半同步的信息
mysql> show global status like 'rpl_semi%';
+--------------------------------------------+-------+
| Variable_name | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients | 0 |
| Rpl_semi_sync_master_net_avg_wait_time | 0 |
| Rpl_semi_sync_master_net_wait_time | 0 |
| Rpl_semi_sync_master_net_waits | 0 |
| Rpl_semi_sync_master_no_times | 0 |
| Rpl_semi_sync_master_no_tx | 0 |
| Rpl_semi_sync_master_status | ON |
| Rpl_semi_sync_master_timefunc_failures | 0 |
| Rpl_semi_sync_master_tx_avg_wait_time | 0 |
| Rpl_semi_sync_master_tx_wait_time | 0 |
| Rpl_semi_sync_master_tx_waits | 0 |
| Rpl_semi_sync_master_wait_pos_backtraverse | 0 |
| Rpl_semi_sync_master_wait_sessions | 0 |
| Rpl_semi_sync_master_yes_tx | 0 |
+--------------------------------------------+-------+
### 从库操作
# 1.安装从库半同步插件
mysql> install plugin rpl_semi_sync_slave soname'semisync_slave.so';
# 2.开启插件
mysql> set global rpl_semi_sync_slave_enabled = 1;
# 3.重启IO线程
mysql> stop slave io_thread;
mysql> start slave io_thread;
# 4.修改配置文件
[root@db02 plugin]# vim /etc/my.cnf
[mysqld]
rpl_semi_sync_slave_enabled =1
注：相关参数说明
rpl_semi_sync_master_timeout=milliseconds
设置此参数值（ms）,为了防止半同步复制在没有收到确认的情况下发生堵塞，如果Master在超时之前没有收到任何确认，将恢复到正常的异步复制，并继续执行没有半同步的复制操作。
rpl_semi_sync_master_wait_no_slave={ON|OFF}
如果一个事务被提交,但Master没有任何Slave的连接，这时不可能将事务发送到其它地方保护起来。默认情况下，Master会在时间限制范围内继续等待Slave的连接，并确认该事务已经被正确的写到磁盘上。
可以使用此参数选项关闭这种行为，在这种情况下，如果没有Slave连接，Master就会恢复到异步复制。
10.MySQL过滤复制
主库
# 白名单（binlog-ignore-db）
主库拒绝从库，复制指定库的数据
# 原理
不记录指定的数据库到binlog日志中
# 主库配置文件
[root@m01 ~]# vim /etc/my.cnf
[mysqld]
binlog-do-db=lol
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql_bin.000004 | 154 | qq | | |
+------------------+----------+--------------+------------------+-------------------+
# 配置多个库
binlog-do-db=lol
binlog-do-db=cf
# 实例
# 进入qq库，不然数据还是会同步过去
mysql> use qq
# 创建表
mysql> create table tb1(id int);
# 在从库上查看数据
mysql> use qq
mysql> show tables;
+--------------+
| Tables_in_qq |
+--------------+
| tb1 |
+--------------+
1 row in set (0.00 sec)
# 黑名单
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql_bin.000005 | 154 | | wc | |
+------------------+----------+--------------+------------------+-------------------+
# 创建表
mysql> use wc
mysql> create table wc(id int);
mysql> show tables;
+--------------+
| Tables_in_wc |
+--------------+
| aa |
| payment |
| qq |
| score |
| student |
| student1 |
| wc |
+--------------+
7 rows in set (0.00 sec
# 从库上查看表
mysql> use wc
mysql> show tables;
+--------------+
| Tables_in_wc |
+--------------+
| aa |
| payment |
| score |
| student |
| student1 |
+--------------+
从库
# 黑名单：从库SQL线程，不拿relay log中的指定库语句
replicate-ignore-db=[库名]
replicate-ignore-table=[库名.表名]
replicate-wild-ignore-table=mysql.t*（模糊匹配）
# 白名单：从库SQL线程，只拿relay log中的指定库语句
replicate-ignore-db=[库名]
replicate-ignore-table=[库名.表名]
replicate-wild-ignore-table=mysql.t*（模糊匹配）
为什么那么多人学MySQL，最后放弃了。因为你走弯路了，没有系统的规划，碎片化的学习，让你对MySQL没有一个整体的认知，而且没有人给你引路指导、纠错，让你很难有进步。
【MySQL课程大纲】备战加薪季，硬核技能来助力！关注我的微信公众号【DB哥】免费学MySQL高级课程
第1章 互联网公司MySQL安装部署
1-1互联网公司安装MySQL规范[09:13]
1-2手把手带你安装MySQL5.7.26[18:20]
1-3手把手带你安装MySQL8.0.20[11:52]
1-4.MySQL多实例的二三事[16:10]
第2章 MySQL启动时遇到的那些坑
2-1生产中的MySQL启动及MySQL启动顺序[17:54]
2-2常见MySQL启动失败案例(1)[22:15]
2-3常见MySQL启动失败案例(2)[21:09]
2-4MySQL数据库用户安全策略[14:44]
2-5找回丢失的用户密码[06:36]
第3章 MySQL数据库乱码之字符集
3-1MySQL字符集[32:27]
3-2插入中文乱码解决[05:54]
3-3数据库常见字符集及如何选择字符集[03:48]
3-4生产中如何彻底避免出现乱码[04:54]
第4章 MySQL用户权限管理
4-1MySQL用户权限管理及注意事项[25:53]
4-2你必须知道的MySQL用户知识[14:10]
4-3MySQL用户权限案例(1)[12:19]
4-4MySQL用户权限案例(2)[20:03]
第5章 SQL编程与性能
5-1SQL编程入门也精彩(1)[26:57]
5-2SQL编程入门也精彩(2)[24:51]
5-3MySQL数据类型与性能(1)[35:42]
5-4MySQL数据类型与性能(2)[21:00]
5-5MySQL约束[32:54]
5-6SQL编程高级之导入测试库及表结构分析[06:56]
5-7SQL编程高级之查询列[14:40]
5-8SQL编程高级之where子句[30:09]
5-9SQL编程高级之group by子句[15:07]
5-10SQL编程高级之order by子句[10:38]
5-11SQL编程高级之limit子句及聚合函数[12:43]
5-12SQL编程高级之多表查询[11:02]
5-13SQL编程高级之子查询[18:56]
5-14SQL编程高级之MySQL巡检案例[13:50]
第6章 MySQL索引性能优化
6-1MySQL索引与二分查找法[38:23]
6-2剖析b+tree数据结构[34:14]
6-3相辅相成的聚集索引和辅助索引[29:08]
6-4覆盖索引与回表查询[13:22]
6-5创建高性能的主键索引[14:57]
6-6唯一索引与普通索引的性能差距[18:06]
6-7前缀索引带来的性能影响[13:04]
6-8你真的会使用联合索引吗[18:50]
6-9Online DDL影响数据库的性能和并发[24:21]
6-10pt-osc原理与应用[22:15]
6-11生产中索引的管理[19:59]
6-12SQL语句无法使用索引的情况[22:10]
第7章 information_schema和sys中索引应用
7-1大有用处的STATISTICS[15:22]
7-2判断索引创建是否合理[13:41]
7-3检查联合索引创建是否合理[09:32]
7-4有了联合索引(a,b),还要创建a索引吗[06:50]
7-5如何查找冗余索引[05:52]
7-6如何查找产生额外排序的sql语句[09:48]
7-7如何查找产生临时表的sql语句[08:36]
7-8全表扫描及统计产生全表扫描的sql语句[08:12]
7-9统计无用的索引[02:33]
7-10索引统计信息管理[07:26]
第8章 MySQL优化器算法与执行计划
8-1简单嵌套查询算法-SNLJ[08:01]
8-2基于索引的嵌套查询算法-INLJ[08:10]
8-3基于块的嵌套查询算法- BNLJ[09:30]
8-4Multi-Range Read算法[06:39]
8-5联表查询算法BKA[05:19]
8-6mysql三层体系结构和ICP索引条件下推[10:49]
8-7一条查询SQL语句是怎样运行的[11:38]
8-8一条更新SQL语句是怎样运行的[05:53]
8-9MySQL长连接与短连接的选择[07:10]
8-10执行计划explain详解[24:20]
第9章 MySQL核心之InnoDB存储引擎
9-1innodb存储引擎体系结构[13:02]
9-2提升数据库性能-缓冲池[34:30]
9-3刷写脏页check point[10:39]
9-4重做日志-redo log[23:39]
9-5回滚日志-undo log[10:04]
9-6.DML语句性能提升技术-插入缓冲[14:44]
9-7数据写入可靠性提升技术-两次写[06:58]
9-8自适应哈希索引-AHI[06:51]
9-9innodb预读预写技术[08:17]
9-10参数配置文件[09:04]
9-11错误日志文件[05:46]
9-12慢查询日志文件[11:42]
9-13MySQL二进制日志(1)[31:28]
9-14MySQL二进制日志(2)[24:57]
9-15表空间文件[12:05]
9-16InnoDB存储引擎表空间结构[17:05]
9-17表碎片清理[14:22]
9-18表空间文件迁移[16:39]
第10章 MySQL查询优化
10-1MySQL查询优化技术[08:34]
10-2子查询优化[11:31]
10-3外连接消除[04:43]
10-4生产中可不可以使用join联表查询[11:41]
10-5group by分组优化[10:16]
10-6order by排序优化[09:02]
10-7MySQL性能抖动问题[04:26]
10-8count(*)优化[08:22]
10-9磁盘性能基准测试[11:11]
10-10MySQL基准测试[07:42]
第11章 事务
11-1认识事务[12:30]
11-2事务控制语句[20:40]
11-3事务的实现方式[13:40]
11-4purge thread线程[06:09]
11-5事务统计QPS与TPS[13:02]
11-6事务隔离级别[28:19]
11-7事务组提交group commit[08:03]
11-8事务两阶段提交[07:51]
第12章 锁优化
12-1认识锁[10:57]
12-2innodb行锁[19:21]
12-3索引对行锁粒度的影响[26:16]
12-4FTWRL全局读锁[06:19]
12-5innodb表锁[12:04]
12-6innodb意向锁与MDL锁[15:45]
12-7自增锁[11:27]
12-8插入意向锁[07:13]
12-9死锁[16:51]
12-10MySQL两阶段锁协议[09:55]
第13章 MVCC多版本并发控制
13-1MVCC多版本并发控制[13:01]
第14章 备份恢复
14-1生产中备份恢复的方式[08:00]
14-2mysqldump备份实战及原理[24:28]
14-3mysqldump全备及binlog恢复数据[13:43]
14-4xtrabackup备份工具安装[04:03]
14-5xtrabackup备份恢复实战及原理[14:08]
14-6binlog备份[10:07]
第15章 MySQL主从复制架构
15-1认识主从复制[11:16]
15-2主从复制架构部署[09:26]
15-3主从复制原理深入讲解[16:29]
15-4从库状态详解[26:21]
15-5过滤复制[18:42]
15-6主从复制案例主库删除[09:31]
15-7主从复制中断解决方案[12:52]
15-8延迟复制[07:40]
15-9主库drop误操作利用延迟复制恢复案例[15:27]
15-10并行复制[15:47]
15-11增强半同步复制[11:11]
15-12主从数据一致性校验[07:35]
15-13gtid复制[13:17]
15-14主从复制架构[10:33]
第16章 MySQL高可用和读写分离架构优化
16-1MHA高可用架构部署[20:39]
16-2主库宕机故障模拟及处理[05:03]
16-3MHA VIP自动切换[09:54]
16-4MHA主从数据自动补足[07:42]
16-5Atlas读写分离高性能架构[15:09]
16-6读写分离架构应用[08:52]
16-7Atlas在线管理[04:18]
16-8读写分离避坑指南[07:11]
第17章 MySQL分库分表优化
17-1MyCAT分布式架构入门及双主架构[11:48]
17-2MyCAT架构部署[20:39]
17-3MyCAT安装[08:39]
17-4MyCAT读写分离架构[13:52]
17-5MyCAT高可用读写分离架构[07:21]
17-6schema.xml配置文件详解[07:07]
17-7MyCAT垂直分表[10:55]
17-8MyCAT水平分表-范围分片[10:18]
17-9MyCAT水平分表-取模分片[06:38]
17-10MyCAT水平分表-枚举分片[08:10]
17-11MyCAT全局表与ER表开始学习
关注我的微信公众号【DB哥】，免费学MySQL高级课程，快学起来吧
