MySQL主从搭建以及利用Django实现读写分离

一：mysql主从搭建

主从同步的原理

1）master会将变动记录到二进制日志里面；
2）master有一个I/O线程将二进制日志发送到slave;
3)  slave有一个I/O线程把master发送的二进制写入到relay日志里面；
4）slave有一个SQL线程，按照relay日志处理slave的数据；

主从搭建流程

1.修改配置文件

主库的配置文件，server-id和开启binlog日志

[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000
server-id=100  
log-bin=mysql-bin
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

从库的配置文件，server-id和开启binlog日志

[mysqld]
user=mysql
character-set-server=utf8
default_authentication_plugin=mysql_native_password
secure_file_priv=/var/lib/mysql
expire_logs_days=7
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
max_connections=1000
server-id=101 
log-bin=mysql-slave-bin
relay_log=edu-mysql-relay-bin
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8

2.拉起两个mysql容器

启动主库容器（挂载外部目录，端口映射成33307，密码设置为123456）

docker run  -di -v /home/mysql/data/:/var/lib/mysql -v /home/mysql/conf.d:/etc/mysql/conf.d -v /home/mysql/my.cnf:/etc/mysql/my.cnf -p 33307:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

启动从库容器（挂载外部目录，端口映射成33306，密码设置为123456）

docker run  -di -v /home/mysql2/data/:/var/lib/mysql -v /home/mysql2/conf.d:/etc/mysql/conf.d -v /home/mysql2/my.cnf:/etc/mysql/my.cnf -p 33306:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

3.连接主库，创建test用户，并授权

连接主库

mysql -h 10.0.0.200 -P 33307 -uroot -p123456

创建test用户

create user 'test'@'%' identified by '123';

授权用户

grant all privileges on *.* to 'test'@'%' ;

刷新权限

flush privileges;

查看主服务器状态

可以看到日志文件的名字，和现在处在哪个位置，如下图：

show master status;

4.连接从库，配置连接主库

连接从库

mysql -h 10.0.0.200 -P 33306 -u root -p123456

复制主库的数据，输入如下命令：

change master to master_host='10.0.0.200',master_port=33307,master_user='test',master_password='123',master_log_file='mysql-bin.000003',master_log_pos=0;

上面的命令详解：

change master to 
master_host='MySQL主服务器IP地址', 
master_user='之前在MySQL主服务器上面创建的用户名'， 
master_password='之前创建的密码', 
master_log_file='MySQL主服务器状态中的二进制文件名', 
master_log_pos='MySQL主服务器状态中的position值';

启用从库

start slave;

查看从库状态

这两个是yes表示配成功：Slave_IO_Running: Yes、Slave_SQL_Running: Yes，如下图：

show slave status\G;

5.测试

在主库上创建数据库test1，从库也可以看到，如下图：

create database test1;
use test1;

这样，我们的mysql主从搭建就完成了，以后主库只负责写入数据，而从库负责读取数据，从库不能写入数据，否则数据会乱了，如果数据乱了，我们只需要将从库数据全部删除，然后指定从0开始复制主库的数据即可（master_log_pos=0）

二：django读写分离(分库分表)

mysql的主从搭建完成后，我们在项目中就可以实现读写分离，这里以Django项目为例。

1.在settings中配置主库和从库

后面我们可以用主库来写入数据，而从库来读取数据，可以搭建一主多从等结构。

DATABASES = {
    # 主库
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'yessir',
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': '10.0.0.200',
        'PORT': 33307,
    },
    # 从库
    'db1': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'yessir',
        'USER': 'root',
        'PASSWORD': '123456',
        'HOST': '10.0.0.200',
        'PORT': 33306,
    },
}

2.指定读写分离

2.1 手动指定

在视图函数中通过 using 来指定用哪个库进行读/写，如下：

from django.shortcuts import render,HttpResponse
from app01 import models

def index(request):
    # 用using来指定向default库写，以后主库负责写
    res = models.Book.objects.using('default').create(title='老人与海',price=33.4)
    # 指定去从库查，从库负责读取
    res1 = models.Book.objects.using('db1').all().first()
    print(res1.title)
    return HttpResponse('成功！')

2.2 自动指定

写一个 py 文件，并在 settings 中配置即可，如下：项目路径下创建一个db_router.py文件

# db_router.py

class Router1:
    def db_for_read(self, model, **hints):
        return 'db1'
    def db_for_write(self, model, **hints):
        return 'default'

在settings.py中注册一下，这样以后只要是写操作，就会用default，只要是读操作自动去db1

DATABASE_ROUTERS = ['db_router.Router1',]

3.分库分表（更细粒度）

当我们数据量非常大的时候，就需要用到分库分表的操作，查询A表信息的时候去A库查，查询B、C表的信息时候去B库查，更细粒度的区分，这样可以大大减少数据库的压力，具体操作如下：

整体操作与上面的 2.2 一致，只是内部添加了判断，进行分库分表查询与写入。

class Router1:
    def db_for_read(self, model, **hints):
        if model._meta.model_name == 'book':
            return 'db1'
        else:
            return 'default'

    def db_for_write(self, model, **hints):
        return 'default'

在settings.py中注册一下

DATABASE_ROUTERS = ['db_router.Router1',]

4.补充

在数据库迁移时，可以指定把哪个app的表结构迁移到哪个库

python manage.py migrate app01 --database=default