MySQL主从复制原理及环境搭建(基于Docker)
一. 为什么要做主从复制 ?
- 在业务复杂的系统中, 有这么一个场景, 有一条sql语句需要锁表, 导致暂时不能使用读的服务, 那么就很影响运行中的业务, 使用主从复制, 让主库负责写, 从库负责读. 这样即使主库出现了锁表的场景, 通过读库也可以保证业务的正常运行.
- 做数据的热备份, 主库宕机后能够及时替换主库, 保证业务可用性.
- 架构的扩展. 业务量越来越大, I/O访问频率过高, 单机无法满足, 此时做多库的存储, 降低磁盘I/O访问的频率, 提高单个机器的I/O性能.
二. MySQL主从复制的原理是什么 ?
- binlog: binary log, 主库中保存所有更新事件日志的二进制文件.
- 主从复制的基础是: 主库会记录数据库的所有变更记录到binlog. binlog是数据库服务器启动的那一刻起, 保存所有修改数据库结构或内容的一个文件.
- mysql主从复制是一个异步的复制过程, 主库发送更新事件到从库, 从库读取更新记录, 并执行更新记录, 使得从库的内容与主库保持一致.
- 在主库里, 只要有更新事件出现, 就会被一次写到到 binlog里面, 之后会推送到从库中, 作为从库进行复制的数据源,
binlog输出线程. 每当有从库连接到主库的时候, 主库都会创建一个线程然后发送binlog内容到从库. 对于每一个即将发送给从库的sql事件, binlog输出县城会将其锁住. 一旦该事件被线程读取完之后, 该锁会被释放, 即使在该事件完全发送到从库的时候, 该锁也会被释放.
**从库的I/O线程. **当 start slave语句在从库开始执行之后, 从库创建一个I/O线程, 该线程连接到主库并请求主库发送binlog里面的更新记录到从库上. 从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件, 其中包括 relay_log文件
从库的SQL线程. 从库创建一个SQL线程, 这个线程读取从库I/O线程写到 relay_log的更新事件并执行.
可以知道, 对于一个主从复制的连接, 都有三个线程. 拥有多个从库的主库为每一个连接到主库的从库创建一个 binlog输出线程, 每一个从库都有他自己的I/O线程和SQL线程.
从库通过创建两个独立的线程, 使得在进行复制时, 从库的读和写进行了分离. 因此, 即使负责执行的线程运行较慢, 负责读取更新语句的线程并不会因此变得缓慢. 比如说, 如果从库有一段时间没运行了, 当它在启动的时候, 尽管它的SQL线程执行比较慢, 它的I/O线程可以快速地从主库里读取所有的 bin-log内容. 这样一来, 即使从库在SQL线程执行完所有读取到的语句前停止了, I/O线程也至少完全读取了所有的内容, 并将其安全地被分在本地的 relay_log, 随时准备在从库下一次启动的时候执行语句
三. MySQL主从复制的流程
整个主从复制的流程, 可以通过以下图示理解
- 主库db的更新事件 (update, insert, delete) 被写到 binlog.
- 从库启动, 并且发起连接, 连接到主库.
- 主库创建一个 binlog dump thread, 把binlog的内容发送到从库.
- 从库启动之后, 创建一个 I/O线程, 读取主库传过来的 binlog内容, 并写入 relay_log
- 从库启动之后, 还会创建一个SQL线程, 从 relay_log 里面读取内容, 从 Exec_Master_Log_Pos位置开始执行读取到的更新事件, 将更新内容写入到 slave的 db.
四. 查看主从复制的状态
当主从复制正在进行中时, 如果想查看从库两个线程的运行状态, 可以在从库里面 show slave status命令, 以下的字段可以给到你想要的信息
Master_Log_File: mysql-bin.000001 上一个从主库拷贝过来的 binlog文件
Read_Master_Log_Pos: 2410 主库的binlog文件被拷贝到从库的 relay log中的位置
Relay_Master_Log_File: mysql-bin.000001 SQL线程当前处理中的 relay log文件
Exec_Master_Log_Pos: 2410 当前binlog文件正在被执行的语句的位置
五. Docker 搭建MySQL主从复制
1. 安装docker运行环境 (已安装可跳过)
2. 拉取mysql镜像
这里以 5.7.13为例, 其他版本可在 Docker Hub 中查询. docker pull mysql:5.7.13
3. 启动三个容器, 1台主库(master), 2台从库(slave)
# 主库
# 参数解释: -d指定后台运行 -p指定端口映射, 本地端口:容器端口 --name指定容器别名 -e配置环境变量, 这里指定了root用户的密码
docker run -d -p 3401:3306 --name mysql_master -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.13
# 从库
docker run -d -p 3402:3306 --name mysql_slave_1 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13
docker run -d -p 3403:3306 --name mysql_slave_2 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13
# 启动好了之后, 可以测试下能否连接成功
mysql -h主机IP -P端口 -uroot -p123456
# 查看容器运行状态
docker container ls
4. 配置主库 (master)
# 1. 进入容器内部
docker exec -it [containerID] /bin/bash
# 2. 修改 /etc/mysql/my.cnf 配置文件
vim /etc/mysql/my.cnf
# 2.1 此时会报错, 没有容器内没有vim, 需要先安装. (过程可能会比较慢, 视网速而定)
apt-get install vim
# 2.2 安装的时候又会报错, 说没有vim安装包, 这次需要更新一下源 (这一步时间可能会比较长)
apt-get update
# 2.3 更新完之后再安装就可以了
apt-get install vim
# 2.4 在 my.cnf中追加如下内容, 保存即可
[mysqld]
## 同一局域网内注意要唯一
server-id=100
## 开启二进制日志功能，可以随便取（关键）
log-bin=mysql-bin
# 3. 配置完成之后, 需要重启 mysql, 重启mysql会导致docker容器停止, 需要重启拉起
service mysql restart
# 3.1 容器ID忘记的话, 可通过 docker container ls -a 查找之前运行过的容器
docker container start [containerID]
# 4. 在 master数据库创建数据同步用户, 授权用户slave REPLICATION SLAVE权限和REPLICATION CLIENT权限, 用于主库和从库之间的数据同步
# 创建用户之前先刷新一下权限, 不然可能报错
# 连接到 master mysql
mysql -h192.168.99.100 -P3401 -uroot -p123456
mysql> flush privileges;
mysql> CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
# 至此, 主库的配置就完成了
5. 配置从库 (slave)
# 进入容器, 替换源, 安装vim (和上面一样)
apt-get update
apt-get install vim
vim /etc/mysql/my.cnf
# 添加配置项
[mysqld]
## 设置server_id,注意要唯一
server-id=101
## 开启二进制日志功能，以备Slave作为其它Slave的Master时使用
log-bin=mysql-slave-bin
## relay_log配置中继日志 (这里配置的应该就是日志文件名, 随意即可, 待考证)
relay_log=edu-mysql-relay-bin
# 重启mysql服务, 重启容器
service mysql restart
docker container start [containerID]
6. 链接 master 和 salve
# 进入 master的 mysql
mysql -h192.168.99.100 -P3401 -uroot -p123456
# 执行 show master status
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 761 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
# 查询出3个容器的 ip, 后面的步骤会用到
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql_master
172.17.0.2
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql_slave_1
172.17.0.3
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql_slave_2
172.17.0.4
# 在 slave mysql中, 执行如下命令 (注意参数替换成自己的)
mysql -h192.168.99.100 -P3402 -uroot -p123456
# 注意这里的端口不是 3401, 3401是本地端口, 映射到docker容器的3306端口
change master to master_host='172.17.0.2', master_user='slave', master_password='123456', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos= 761, master_connect_retry=30;
# 参数释义
# master_host是主库IP地址, master_user是用于数据同步的用户名, master_password是用于同步的用户的密码
# master_log_file: 指定slave从哪个日志文件开始复制数据, 即 show master status 结果中的File字段值
# master_log_pos: 从哪个 position开始读, 即 show master status 结果中的Position字段值
# master_connect_retry: 如果连接失败, 重试的时间间隔, 单位是秒, 默认60s
# 查看主从同步状态
show slave \G
*************************** 1. row ***************************
Slave_IO_State:
Master_Host: 172.18.0.2
Master_User: slave
Master_Port: 3306
Connect_Retry: 30
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 761
Relay_Log_File: edu-mysql-relay-bin.000001
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: No
Slave_SQL_Running: No
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
......
# 正常情况下, Slave_IO_Running 和 Slave_SQL_Running都是 No, 因为我们开没有开启主从复制过程
# 开启主从复制 (重要)
mysql> start slave;
# 以下两个字段, 如果都为yes的话, 说明连接正常,
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
# 补充: 如果Slave_IO_Running是 Connecting的话, 说明连接有误, 可能是IP或者端口配置错了
# 如果出现了错误, Last_IO_Error字段会提示报错信息, 对照修改即可
# 先停用主从复制, 然后重新配置, 再开启
stop slave;
change master to master_host .....
start slave
show slave status \G
File 和 Position字段的值后面会用到, 在后面的操作完成之前, 需要保证 master库不能做任何操作, 否则将引起状态变化, File和 Position字段的值会变化.
master_host
以上就配置好了, salve_2同上即可.
7. 测试
下面来测试一下, 只需要在master中创建一个数据库, 看下 slave_1, slave_2 有没有同步即可.
可以看到, master库创建了一个 test_1的数据库, 另外两个从库都有了 test_1数据库.
