Mysql开启binlog数据同步

前提:已经安装好了Mysql客户端和服务

一、修改/etc/my.cnf文件

注意:找不到/etc/my.cnf的解决办法

[root@hadoop201 module]$ sudo vim /etc/my.cnf

server-id = 1

log-bin=mysql-bin

binlog_format=row

binlog-do-db=gmall-20210712

注意:binlog-do-db根据自己的情况进行修改,指定具体要同步的数据库

二、重启MySQL使配置生效

sudo systemctl restart mysql

三、

到/var/lib/mysql目录下查看初始文件大小

每次重启Mysql服务,都会新生成一个mysql-bin文件

 

题外知识:

(1) 什么是binlog

    MySQL的二进制日志可以说MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。

    一般来说开启二进制日志大概会有1%的性能损耗。二进制有两个最重要的使用场景:

  • 其一:MySQL Replication在Master端开启binlog,Master把它的二进制日志传递给slaves来达到master-slave数据一致的目的。 
  • 其二:自然就是数据恢复了,通过使用mysqlbinlog工具来使恢复数据。

二进制日志包括两类文件:二进制日志索引文件(文件名后缀为.index)用于记录所有的二进制文件,二进制日志文件(文件名后缀为.00000*)记录数据库所有的DDL和DML(除了数据查询语句)语句事件。

(2) binlog的开启

  • 找到MySQL配置文件的位置
  • Linux: /etc/my.cnf

如果/etc目录下没有,可以通过locate my.cnf查找位置

  • Windows: \my.ini
  • 在mysql的配置文件下,修改配置

在[mysqld] 区块,设置/添加  log-bin=mysql-bin

这个表示binlog日志的前缀是mysql-bin,以后生成的日志文件就是 mysql-bin.123456 的文件后面的数字按顺序生成,每次mysql重启或者到达单个文件大小的阈值时,新生一个文件,按顺序编号。

(3) binlog的分类设置

mysql binlog的格式有三种,分别是STATEMENT,MIXED,ROW。

在配置文件中可以选择配置 binlog_format= statement|mixed|row

  • 三种格式的区别:

 statement

        语句级,binlog会记录每次一执行写操作的语句。

        相对row模式节省空间,但是可能产生不一致性,比如

  update  tt set create_date=now()

        如果用binlog日志进行恢复,由于执行时间不同可能产生的数据就不同。

        优点: 节省空间

        缺点: 有可能造成数据不一致。

 row

        行级, binlog会记录每次操作后每行记录的变化。

        优点:保持数据的绝对一致性。因为不管sql是什么,引用了什么函数,他只记录执行后的效果。

        缺点:占用较大空间。

 mixed

        statement的升级版,一定程度上解决了,因为一些情况而造成的statement模式不一致问题

        默认还是statement,在某些情况下譬如:

            当函数中包含 UUID() 时;

            包含 AUTO_INCREMENT 字段的表被更新时;

            执行 INSERT DELAYED 语句时;

             UDF 时;

        会按照 ROW的方式进行处理

        优点:节省空间,同时兼顾了一定的一致性。

        缺点:还有些极个别情况依旧会造成不一致,另外statement和mixed对于需要对binlog的监控的情况都不方便。

综合上面对比,Maxwell想做监控分析,选择row格式比较合适

 

posted @ 2021-08-01 19:16  明明就-  阅读(1107)  评论(0编辑  收藏  举报