（4.11）mysql闪回，mysql binlog2sql

关键字：mysql闪回，binlog2sql

0、闪回技术与工具简介

mysql闪回工具比较流行三大类：

【0.1】官方的mysqlbinlog：支持数据库在线/离线，用脚本处理binlog的输出，转化成对应SQL再执行。通用性不好，对正则、sed等需要较高熟练度。

【0.2】第三方的mysqlbinlog工具，比官方的工具多了一个闪回功能 -B

【0.3】开源的binlog2sql：兼容性比较好，使用难度小，使用简单，前提是mysql必须开启。

最佳实践：线上使用binlog2sql，线下用mysqlbinlog以及mysqlbinlog_flashback

1、概念

1.1 前提

　　【1.1】binlog_format='row'

　　【1.2】binlog_rows_query_log_events=on

　　【1.3】binlog_row_image=full

1.2、官方的mysqlbinlog

　　注意加锁和解锁，lock tables tab_name read/write; unlock tables;

　　实现：MySQL 误删数据、误更新数据（update,delete忘加where条件）

1.3、第三方的mysqlbinlog工具（基于binlog恢复工具mysqlbinlog_flashback）

　　https://github.com/58daojia-dba/mysqlbinlog_flashback　　

mysqlbinlog_back.py 是在线读取row格式的mysqld的binlog,然后生成反向的sql语句的工具。
一般用于数据恢复的目的。 所谓反向的sql语句就是如果是insert，则反向的sql为delete。
如果delete,反向的sql是insert,如果是update, 反向的sql还是update,但是update的值是原来的值。
这个项目需要安装
安装网络YUM（如何操作？）
安装phonty3(HOW?)
yum update nss
yum install python-pip(如何安装？)
pip install pymysql

MyFlash： https://yq.aliyun.com/articles/573122?utm_content=m_1000008774

1.4、利用binlog2sql实现闪回

转载来自 https://github.com/danfengcao/binlog2sql/blob/master/example/mysql-flashback-priciple-and-practice.md

【2】MySQL闪回原理与实战

DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会影响mysql的性能。

MySQL闪回(flashback)利用binlog直接进行回滚，能快速恢复且不用停机。本文将介绍闪回原理，给出笔者的实战经验，并对现存的闪回工具作比较。

【2.1】开胃菜

某天，小明因种种原因，误删了大批线上用户表的数据。他急忙找到公司DBA请求帮助，“客服电话已被打爆，大量用户投诉无法登陆，领导非常恼火。请问多久能恢复数据？”DBA一脸懵逼，沉默十秒后，伸出一根手指。“你的意思是一分钟就能恢复？太好了。”小明终于有些放松，露出了一丝笑容。“不，我们中有个人将会离开公司。”DBA沉痛的说道。

勿让悲剧发生，尽早将此文转给公司DBA。

【2.2】闪回原理

binlog概述

MySQL binlog以event的形式，记录了MySQL server从启用binlog以来所有的变更信息，能够帮助重现这之间的所有变化。MySQL引入binlog主要有两个目的：一是为了主从复制；二是某些备份还原操作后需要重新应用binlog。

有三种可选的binlog格式，各有优缺点：

statement：基于SQL语句的模式，binlog数据量小，但是某些语句和函数在复制过程可能导致数据不一致甚至出错；
row：基于行的模式，记录的是行的完整变化。很安全，但是binlog会比其他两种模式大很多；
mixed：混合模式，根据语句来选用是statement还是row模式；

利用binlog闪回，需要将binlog格式设置为row。row模式下，一条使用innodb的insert会产生如下格式的binlog

 
# at 1129
#161225 23:15:38 server id 3773306082 end_log_pos 1197 Query thread_id=1903021 exec_time=0 error_code=0

SET TIMESTAMP=1482678938/*!*/;
 
BEGIN
 
/*!*/;
# at 1197
#161225 23:15:38 server id 3773306082 end_log_pos 1245 Table_map: `test`.`user` mapped to number 290
 
# at 1245
#161225 23:15:38 server id 3773306082 end_log_pos 1352 Write_rows: table id 290 flags: STMT_END_F
 
 
BINLOG '
muJfWBPiFOjgMAAAAN0EAAAAACIBAAAAAAEABHRlc3QABHVzZXIAAwMPEQMeAAAC
muJfWB7iFOjgawAAAEgFAAAAACIBAAAAAAEAAgAD//gBAAAABuWwj+i1tVhK1hH4AgAAAAblsI/p
krFYStYg+AMAAAAG5bCP5a2ZWE/onPgEAAAABuWwj+adjlhNeAD4BQAAAAJ0dFhRYJM=
'/*!*/;
 
# at 1352
#161225 23:15:38 server id 3773306082 end_log_pos 1379 Xid = 5327954
 
COMMIT/*!*/;

闪回原理

既然binlog以event形式记录了所有的变更信息，那么我们把需要回滚的event，从后往前回滚回去即可。

对于单个event的回滚，我们以表test.user来演示原理

mysql> show create table test.user\G
 
*************************** 1. row ***************************
 
Table: user
 
Create Table: CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(10) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8
-- 对于delete操作，我们从binlog提取出delete信息，生成的回滚语句是insert。(注：为了方便解释，我们用binlog2sql将原始binlog转化成了可读SQL)

原始：DELETE FROM `test`.`user` WHERE `id`=1 AND `name`='小赵';
 
回滚：INSERT INTO `test`.`user`(`id`, `name`) VALUES (1, '小赵');
对于insert操作，回滚SQL是delete。

 
原始：INSERT INTO `test`.`user`(`id`, `name`) VALUES (2, '小钱');
 
回滚：DELETE FROM `test`.`user` WHERE `id`=2 AND `name`='小钱';
对于update操作，回滚sql应该交换SET和WHERE的值。

 
原始：UPDATE `test`.`user` SET `id`=3, `name`='小李' WHERE `id`=3 AND `name`='小孙';
 
回滚：UPDATE `test`.`user` SET `id`=3, `name`='小孙' WHERE `id`=3 AND `name`='小李';

【2.3】闪回实战（基于binlog2sql）

2.1.0 在线安装：

我们使用开源工具binlog2sql来进行实战演练。binlog2sql由美团点评DBA团队(上海)出品，多次在线上环境做快速回滚。

首先我们安装binlog2sql：

shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt

离线安装参考：https://blog.csdn.net/qq_31144297/article/details/106541708

离线包下载：https://download.csdn.net/download/weixin_38098312/84244504?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-download-2%7Edefault%7ECTRLIST%7EPaid-1-84244504-blog-106541708.pc_relevant_multi_platform_featuressortv2dupreplace&depth_1-utm_source=distribute.pc_relevant.none-task-download-2%7Edefault%7ECTRLIST%7EPaid-1-84244504-blog-106541708.pc_relevant_multi_platform_featuressortv2dupreplace&utm_relevant_index=2

2.1.1参数配置

[mysqld]
server_id = 1
log_bin = /var/log/mysql/mysql-bin.log
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full

2.1.2 user需要的最小权限集合

select, super/replication client, replication slave
建议授权
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO

权限说明

select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
super/replication client：两个权限都可以，需要执行'SHOW MASTER STATUS', 获取server端的binlog列表
replication slave：通过BINLOG_DUMP协议获取binlog内容的权限

2.2 基本用法

参考：

python /data/dba/binlog2sql/binlog2sql/binlog2sql.py   \
-ddb_mobsbase -tcustomer_corporate_info  --start-file "mysql-bin.001051"     \
--start-datetime='2022-10-14 08:55:00' --stop-datetime="2022-10-14 09:04:00"  -B >rollback_20221014.sql

真实的闪回场景中，最关键的是能快速筛选出真正需要回滚的SQL。

背景：小明在11:44时误删了test库user表大批的数据，需要紧急回滚。

test库user表原有数据
mysql> select * from user;
+----+--------+---------------------+
| id | name   | addtime             |
+----+--------+---------------------+
|  1 | 小赵   | 2013-11-11 00:04:33 |
|  2 | 小钱   | 2014-11-11 00:04:48 |
|  3 | 小孙   | 2016-11-11 20:25:00 |
|  4 | 小李   | 2013-11-11 00:00:00 |
.........
+----+--------+---------------------+
16384 rows in set (0.04 sec)

11:44时，user表大批数据被误删除。与此同时，正常业务数据是在继续写入的
mysql> delete from user where addtime>'2014-01-01';
Query OK, 16128 rows affected (0.18 sec)

mysql> select count(*) from user;
+----------+
| count(*) |
+----------+
|      261 |
+----------+

恢复数据步骤：

登录mysql，查看目前的binlog文件

mysql> show master logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000053 | 168652863 |
| mysql-bin.000054 |    504549 |
+------------------+-----------+

最新的binlog文件是mysql-bin.000054。我们的目标是筛选出需要回滚的SQL，由于误操作人只知道大致的误操作时间，我们首先根据时间做一次过滤。只需要解析test库user表。(注：如果有多个sql误操作，则生成的binlog可能分布在多个文件，需解析多个文件)

shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-datetime='2016-12-26 11:44:00' --stop-datetime='2016-12-26 11:50:00' > /tmp/raw.sql

raw.sql输出：
DELETE FROM `test`.`user` WHERE `addtime`='2014-11-11 00:04:48' AND `id`=2 AND `name`='小钱' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56
DELETE FROM `test`.`user` WHERE `addtime`='2015-11-11 20:25:00' AND `id`=3 AND `name`='小孙' LIMIT 1; #start 257427 end 265754 time 2016-12-26 11:44:56
...
DELETE FROM `test`.`user` WHERE `addtime`='2016-12-14 23:09:07' AND `id`=24530 AND `name`='tt' LIMIT 1; #start 257427 end 504272 time 2016-12-26 11:44:56
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-10 00:04:33', 32722, '小王'); #start 504299 end 504522 time 2016-12-26 11:49:42
...

根据位置信息，我们确定了误操作sql来自同一个事务，准确位置在257427-504272之间(binlog2sql对于同一个事务会输出同样的start position)。根据位置过滤，使用 -B 选项生成回滚sql，检查回滚sql是否正确。(注：真实场景下，生成的回滚SQL经常会需要进一步筛选。结合grep、编辑器等)

shell> python binlog2sql/binlog2sql.py -h127.0.0.1 -P3306 -uadmin -p'admin' -dtest -tuser --start-file='mysql-bin.000054' --start-position=257427 --stop-position=504272 -B > /tmp/rollback.sql

rollback.sql 输出：
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-14 23:09:07', 24530, 'tt'); #start 257427 end 504272 time 2016-12-26 11:44:56
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2016-12-12 00:00:00', 24529, '小李'); #start 257427 end 504272 time 2016-12-26 11:44:56
...
INSERT INTO `test`.`user`(`addtime`, `id`, `name`) VALUES ('2014-11-11 00:04:48', 2, '小钱'); #start 257427 end 265754 time 2016-12-26 11:44:56

shell> wc -l /tmp/rollback.sql
16128 /tmp/rollback.sql

与业务方确认回滚sql没问题，执行回滚语句。登录mysql，确认回滚成功。

shell> mysql -h127.0.0.1 -P3306 -uadmin -p'admin' < /tmp/rollback.sql

mysql> select count(*) from user;
+----------+
| count(*) |
+----------+
|    16389 |
+----------+

【2.4】TIPS

闪回的目标：快速筛选出真正需要回滚的数据。
先根据库、表、时间做一次过滤，再根据位置做更准确的过滤。
由于数据一直在写入，要确保回滚sql中不包含其他数据。可根据是否是同一事务、误操作行数、字段值的特征等等来帮助判断。
执行回滚sql时如有报错，需要查实具体原因，一般是因为对应的数据已发生变化。由于是严格的行模式，只要有唯一键(包括主键)存在，就只会报某条数据不存在的错，不必担心会更新不该操作的数据。业务如果有特殊逻辑，数据回滚可能会带来影响。
如果只回滚某张表，并且该表有关联表，关联表并不会被回滚，需与业务方沟通清楚。

哪些数据需要回滚，让业务方来判断！

【2.5】闪回工具

MySQL闪回特性最早由阿里彭立勋开发，彭在2012年给官方提交了一个patch，并对闪回设计思路做了说明(设计思路很有启发性，强烈推荐阅读)。但是因为种种原因，业内安装这个patch的团队至今还是少数，真正应用到线上的更是少之又少。彭之后，又有多位人员针对不同mysql版本不同语言开发了闪回工具，原理用的都是彭的思路。

我将这些闪回工具按实现方式分成了三类。

第一类是以patch形式集成到官方工具mysqlbinlog中。以彭提交的patch为代表。
优点
- 上手成本低。mysqlbinlog原有的选项都能直接利用，只是多加了一个闪回选项。闪回特性未来有可能被官方收录。
- 支持离线解析。
缺点
- 兼容性差、项目活跃度不高。由于binlog格式的变动，如果闪回工具作者不及时对补丁升级，则闪回工具将无法使用。目前已有多位人员分别针对mysql5.5，5.6，5.7开发了patch，部分项目代码公开，但总体上活跃度都不高。
- 难以添加新功能，实战效果欠佳。在实战中，经常会遇到现有patch不满足需求的情况，比如要加个表过滤，很简单的一个需求，代码改动也不会大，但对大部分DBA来说，改mysql源码还是很困难的事。
- 安装稍显麻烦。需要对mysql源码打补丁再编译生成。
这些缺点，可能都是闪回没有流行开来的原因。
第二类是独立工具，通过伪装成slave拉取binlog来进行处理。以binlog2sql为代表。
优点
- 兼容性好。伪装成slave拉binlog这项技术在业界应用的非常广泛，多个开发语言都有这样的活跃项目，MySQL版本的兼容性由这些项目搞定，闪回工具的兼容问题不再突出。
- 添加新功能的难度小。更容易被改造成DBA自己喜欢的形式。更适合实战。
- 安装和使用简单。
缺点
- 必须开启MySQL server。
第三类是简单脚本。先用mysqlbinlog解析出文本格式的binlog，再根据回滚原理用正则进行匹配并替换。
优点
- 脚本写起来方便，往往能快速搞定某个特定问题。
- 安装和使用简单。
- 支持离线解析。
缺点
- 通用性不好。
- 可靠性不好。

就目前的闪回工具而言，线上环境的闪回，笔者建议使用binlog2sql，离线解析使用mysqlbinlog。

【2.6】关于DDL的flashback

本文所述的flashback仅针对DML语句的快速回滚。但如果误操作是DDL的话，是无法利用binlog做快速回滚的，因为即使在row模式下，binlog对于DDL操作也不会记录每行数据的变化。要实现DDL快速回滚，必须修改MySQL源码，使得在执行DDL前先备份老数据。目前有多个mysql定制版本实现了DDL闪回特性，阿里林晓斌团队提交了patch给MySQL官方，MariaDB预计在不久后加入包含DDL的flashback特性。DDL闪回的副作用是会增加额外存储。考虑到其应用频次实在过低，本文不做详述，有兴趣的同学可以自己去了解，重要的几篇文章我在参考资料中做了引用。

有任何问题，或有mysql闪回相关的优秀工具优秀文章遗漏，烦请告知。 danfengcao.info@gmail.com

【3】最佳实践MyFlash 回滚 dml

【3.1】、简介

MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析v4版本的binlog，完成回滚操作。相对已有的回滚工具，其增加了更多的过滤选项，让回滚更加容易。该工具已经在美团点评内部使用

【3.2】、限制

binlog格式必须为row,且binlog_row_image=full
仅支持5.6与5.7
只能回滚DML（增、删、改）

【3.3】、工具安装

（1）下载

linux：git clone https://github.com/Meituan-Dianping/MyFlash.git
windows：https://github.com/Meituan-Dianping/MyFlash.git

（2）传输安装

cd /soft
#传输 zip文件，如果是 linux方式下载，那么就不用传了
unzip MyFlash.zip
yum -y install glib2*
cd /soft/MyFlash/MyFlash-master
gcc -w `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c -o binary/flashback
#如果没有报错，证明安装成功

（3）切换到 flashback 目录
cd binary
./flashback --help
#在进行 flashback操作之后，会在其相同目录下生产一个 binlog_output_base.flashback 闪回文件

【3.4】、flashback 参数

Application Options:
  --databaseNames             databaseName to apply. if multiple, seperate by comma(,)
  --tableNames                tableName to apply. if multiple, seperate by comma(,)
  --start-position            start position
  --stop-position             stop position
  --start-datetime            start time (format %Y-%m-%d %H:%M:%S)
  --stop-datetime             stop time (format %Y-%m-%d %H:%M:%S)
  --sqlTypes                  sql type to filter . support INSERT, UPDATE ,DELETE. if multiple, seperate by comma(,)
  --maxSplitSize              max file size after split, the uint is M
  --binlogFileNames           binlog files to process. if multiple, seperate by comma(,)  
  --outBinlogFileNameBase     output binlog file name base
  --logLevel                  log level, available option is debug,warning,error
  --include-gtids             gtids to process
  --exclude-gtids             gtids to skip

Parameter explantion

下面的这些参数是可以任意组合的。

1.databaseNames  指定需要回滚的数据库名。多个数据库可以用“,”隔开。如果不指定该参数，相当于指定了所有数据库。

2.tableNames 指定需要回滚的表名。多个表可以用“,”隔开。如果不指定该参数，相当于指定了所有表。

3.start-position 指定回滚开始的位置。如不指定，从文件的开始处回滚。请指定正确的有效的位置，否则无法回滚

4.stop-position 指定回滚结束的位置。如不指定，回滚到文件结尾。请指定正确的有效的位置，否则无法回滚

5.start-datetime 指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定，则不限定时间

6.stop-datetime 指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定，则不限定时间

7.sqlTypes 指定需要回滚的sql类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用“,”隔开。

8.maxSplitSize 一旦指定该参数，对文件进行固定尺寸的分割（单位为M），过滤条件有效，但不进行回滚操作。该参数主要用来将大的binlog文件切割，防止单次应用的binlog尺寸过大，对线上造成压力

9.binlogFileNames 指定需要回滚的binlog文件，目前只支持单个文件，后续会增加多个文件支持

10.outBinlogFileNameBase 指定输出的binlog文件前缀，如不指定，则默认为binlog_output_base.flashback

11.logLevel 仅供开发者使用，默认级别为error级别。在生产环境中不要修改这个级别，否则输出过多

12.include-gtids 指定需要回滚的gtid,支持gtid的单个和范围两种形式。

13.exclude-gtids 指定不需要回滚的gtid，用法同include-gtids

【3.5】常用恢复脚本

（1）./flashback --binlogFileNames=mysql-binlog.000041  #解析恢复整个binlog日志，生产对应的恢复binlog文件 binlog_output_base.flashback 在当前目录

（2）/usr/local/mysql/bin/mysqlbinlog -vv binlog_output_base.flashback #查看 flashback恢复出来的 binlog_output_base.flashback 文件

（3）./flashback --databaseNames='wwj' --tableNames='t1' --sqlTypes='DELETE' --binlogFileNames=/home/mysql3307/mysql3307/mysql-bin.000001 #恢复在binlog日志中,某个数据库下的某个表的delete操作

（4）/usr/local/mysql/bin/mysqlbinlog binlog_output_base.flashback|/usr/local/mysql/bin/mysql -S /tmp/mysql3307.sock -p #应用恢复数据到数据库

（5）./flashback –binlogFileNames=/data/mysql_data/bin.000056 –start-position=13633 –stop-position=14360 #根据位置解析恢复binlog

（6）./flashback --databaseNames='wwj' --start-datetime='2018-03-29 05:41:37' --stop-datetime='2018-03-29 05:42:57' --binlogFileNames=/home/mysql3307/mysql3307/mysql-bin.000001 #根据时间来解析恢复binlog

（7）mysqlbinlog binlog_output_base.flashback --skip-gtids|mysql -uroot -p123456 #注意，GTID模式可能需要跳过GTIDS，因为之前有过插入操作会重复。（这在MySQL恢复提了，gtid模式，匿名binlog不能使用）

【3.6】delete 恢复测试

1.准备数据

mysql> select * from travelrecord limit 10;

id    user_id    traveldate    fee    days
10017    xiaohong8    NULL    522    8
10018    xiaohong8    NULL    522    8
10020    xiaohong8    NULL    522    8
10021    xiaohong8    NULL    522    8
10023    xiaohong8    NULL    522    8
100000    xiaohong    2014-01-06    511    3
100002    xiaohong2    2014-01-12    511    3
100003    xiaohong3    2014-01-13    511    3
100005    xiaohong4    2014-01-14    511    5
100006    xiaohong6    2014-01-14    511    6
10 rows in set (0.00 sec)

2.删除前5个数据

mysql> delete from travelrecord where id=10017; 
Query OK, 1 row affected (0.00 sec)

mysql> delete from travelrecord where id=10018; 
Query OK, 1 row affected (0.00 sec)

mysql> delete from travelrecord where id=10019; 
Query OK, 0 rows affected (0.00 sec)

mysql> delete from travelrecord where id=10020; 
Query OK, 1 row affected (0.00 sec)

mysql> delete from travelrecord where id=10021; 
Query OK, 1 row affected (0.00 sec)

mysql> delete from travelrecord where id=10023; 
Query OK, 1 row affected (0.00 sec)

mysql> select * from travelrecord limit 10;

id    user_id    traveldate    fee    days
100000    xiaohong1    2014-01-06    511    3
100002    xiaohong2    2014-01-12    511    3
100003    xiaohong3    2014-01-13    511    3
100005    xiaohong4    2014-01-14    511    5
100006    xiaohong6    2014-01-14    511    6
5 rows in set (0.00 sec)

3.查看binlog日志,确定start stop position

[root@mydb1 mysql_data]# mysqlbinlog bin.000056 –base64-output=decode-rows -v

# at 12961
#171215 21:42:30 server id 11 end_log_pos 13035 CRC32 0x1198e401 Query thread_id=762 exec_time=0 error_code=0
SET TIMESTAMP=1513345350/*!*/;
BEGIN
/*!*/;
# at 13035
#171215 21:42:30 server id 11 end_log_pos 13100 CRC32 0xe30d86d6 Table_map: `testdb`.`travelrecord` mapped to number 113
# at 13100
#171215 21:42:30 server id 11 end_log_pos 13164 CRC32 0x8f6f5c98 Delete_rows: table id 113 flags: STMT_END_F
### DELETE FROM `testdb`.`travelrecord`
### WHERE
### @1=10017
### @2='xiaohong8'
### @3=NULL
### @4=522
### @5=8
# at 13164
#171215 21:42:30 server id 11 end_log_pos 13195 CRC32 0x6c37a6ba Xid = 3308
COMMIT/*!*/;
# at 13195
#171215 21:42:34 server id 11 end_log_pos 13260 CRC32 0x8d601b32 GTID last_committed=44 sequence_number=45
SET @@SESSION.GTID_NEXT= 'c07e1144-3f74-11e6-8405-000c292e6dc1:2377259'/*!*/;
# at 13260
#171215 21:42:34 server id 11 end_log_pos 13334 CRC32 0x76ed46dc Query thread_id=762 exec_time=0 error_code=0
SET TIMESTAMP=1513345354/*!*/;
BEGIN
/*!*/;
# at 13334
#171215 21:42:34 server id 11 end_log_pos 13399 CRC32 0xf874f221 Table_map: `testdb`.`travelrecord` mapped to number 113
# at 13399
#171215 21:42:34 server id 11 end_log_pos 13463 CRC32 0x273c9903 Delete_rows: table id 113 flags: STMT_END_F
### DELETE FROM `testdb`.`travelrecord`
### WHERE
### @1=10018
### @2='xiaohong8'
### @3=NULL
### @4=522
### @5=8
# at 13463
#171215 21:42:34 server id 11 end_log_pos 13494 CRC32 0x6201295c Xid = 3309
COMMIT/*!*/;
# at 13494
#171215 21:42:45 server id 11 end_log_pos 13559 CRC32 0x236b1be3 GTID last_committed=45 sequence_number=46
SET @@SESSION.GTID_NEXT= 'c07e1144-3f74-11e6-8405-000c292e6dc1:2377260'/*!*/;
# at 13559
#171215 21:42:45 server id 11 end_log_pos 13633 CRC32 0x88243fcf Query thread_id=762 exec_time=0 error_code=0
SET TIMESTAMP=1513345365/*!*/;
BEGIN
/*!*/;
# at 13633
#171215 21:42:45 server id 11 end_log_pos 13698 CRC32 0xc18a2803 Table_map: `testdb`.`travelrecord` mapped to number 113
# at 13698
#171215 21:42:45 server id 11 end_log_pos 13762 CRC32 0x0db53947 Delete_rows: table id 113 flags: STMT_END_F
### DELETE FROM `testdb`.`travelrecord`
### WHERE
### @1=10020
### @2='xiaohong8'
### @3=NULL
### @4=522
### @5=8
# at 13762
#171215 21:42:45 server id 11 end_log_pos 13793 CRC32 0xf157ada0 Xid = 3311
COMMIT/*!*/;
# at 13793
#171215 21:42:47 server id 11 end_log_pos 13858 CRC32 0x59e62800 GTID last_committed=46 sequence_number=47
SET @@SESSION.GTID_NEXT= 'c07e1144-3f74-11e6-8405-000c292e6dc1:2377261'/*!*/;
# at 13858
#171215 21:42:47 server id 11 end_log_pos 13932 CRC32 0x00b833b6 Query thread_id=762 exec_time=0 error_code=0
SET TIMESTAMP=1513345367/*!*/;
BEGIN
/*!*/;
# at 13932
#171215 21:42:47 server id 11 end_log_pos 13997 CRC32 0xdc89cbe3 Table_map: `testdb`.`travelrecord` mapped to number 113
# at 13997
#171215 21:42:47 server id 11 end_log_pos 14061 CRC32 0xb8f3404a Delete_rows: table id 113 flags: STMT_END_F
### DELETE FROM `testdb`.`travelrecord`
### WHERE
### @1=10021
### @2='xiaohong8'
### @3=NULL
### @4=522
### @5=8
# at 14061
#171215 21:42:47 server id 11 end_log_pos 14092 CRC32 0x51dc1d7e Xid = 3312
COMMIT/*!*/;
# at 14092
#171215 21:42:51 server id 11 end_log_pos 14157 CRC32 0x4bdd179f GTID last_committed=47 sequence_number=48
SET @@SESSION.GTID_NEXT= 'c07e1144-3f74-11e6-8405-000c292e6dc1:2377262'/*!*/;
# at 14157
#171215 21:42:51 server id 11 end_log_pos 14231 CRC32 0x64d80716 Query thread_id=762 exec_time=0 error_code=0
SET TIMESTAMP=1513345371/*!*/;
BEGIN
/*!*/;
# at 14231
#171215 21:42:51 server id 11 end_log_pos 14296 CRC32 0xd0cd8862 Table_map: `testdb`.`travelrecord` mapped to number 113
# at 14296
#171215 21:42:51 server id 11 end_log_pos 14360 CRC32 0x773f59f0 Delete_rows: table id 113 flags: STMT_END_F
### DELETE FROM `testdb`.`travelrecord`
### WHERE
### @1=10023
### @2='xiaohong8'
### @3=NULL
### @4=522
### @5=8
# at 14360
#171215 21:42:51 server id 11 end_log_pos 14391 CRC32 0xfd2b0a43 Xid = 3313
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

4.恢复id=10020 id=10021 id=10023 三条数据
–start-position=13633
–stop-position=14360

5.生成恢复binlog日志
./flashback –binlogFileNames=/data/mysql_data/bin.000056 –start-position=13633 –stop-position=14360

默认产生一个binlog_output_base.flashback文件

6.应用日志到数据库
mysqlbinlog –skip-gtids binlog_output_base.flashback|mysql -uroot -p111111

7.查看恢复情况
mysql> select * from travelrecord limit 10;

id user_id traveldate fee days
10020 xiaohong8 NULL 522 8
10021 xiaohong8 NULL 522 8
10023 xiaohong8 NULL 522 8
100000 xiaohong1 2014-01-06 511 3
100002 xiaohong2 2014-01-12 511 3
100003 xiaohong3 2014-01-13 511 3
100005 xiaohong4 2014-01-14 511 5
100006 xiaohong6 2014-01-14 511 6
8 rows in set (0.00 sec)

【我的实践】binlog2sql

（1）下载

在线安装：

　　我们使用开源工具binlog2sql来进行实战演练。binlog2sql由美团点评DBA团队(上海)出品，多次在线上环境做快速回滚。

　　首先我们安装binlog2sql：

shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
shell> pip install -r requirements.txt

离线安装参考：https://blog.csdn.net/qq_31144297/article/details/106541708

　　离线包下载：https://download.csdn.net/download/weixin_38098312/84244504?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-download-2%7Edefault%7ECTRLIST%7EPaid-1-84244504-blog-106541708.pc_relevant_multi_platform_featuressortv2dupreplace&depth_1-utm_source=distribute.pc_relevant.none-task-download-2%7Edefault%7ECTRLIST%7EPaid-1-84244504-blog-106541708.pc_relevant_multi_platform_featuressortv2dupreplace&utm_relevant_index=2

（2）解压安装离线包

进入解压目录，如下图，安装即可，可以修改一下install.sh，把python 案例语句注释掉。

（3）使用案例

python binlog2sql.py --help

解析模式:
--stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。
-K, --no-primary-key 对INSERT语句去除主键。可选。默认False
-B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。
--back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。

解析范围控制:
--start-file 起始解析文件，只需文件名，无需全路径 。必须。
--start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。
--stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。
--stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。
--start-datetime 起始解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。
--stop-datetime 终止解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

对象过滤:
-d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。
-t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。
--only-dml 只解析dml，忽略ddl。可选。默认False。
--sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。

加-B 参数即为 undo 语句，不加则为redo 语句。

binlog2sql.py --start-datetime='2023-07-07 16:30:00' mysql_bin.001527 >32_tmp20230707.sql
binlog2sql.py --start-datetime='2023-07-07 16:30:00' --start-file='mysql_bin.001528' >32_tmp20230707.sql
binlog2sql.py --start-datetime='2023-07-07 16:30:00' --start-file='mysql_bin.001528' -uroot -p'31Jr20()'>32_tmp20230707.sql
binlog2sql.py --start-datetime='2023-08-11 19:00:00' -B -d db_financial -t t_accrual_interest  >test.sql
binlog2sql.py --start-datetime='2023-08-11 19:00:00' -B -d db_financial -t t_accrual_interest  mysql_bin.001571>test.sql
binlog2sql.py --start-datetime='2023-08-11 19:00:00' -B -d db_financial -t t_accrual_interest  --start-file='mysql_bin.001571'>test.sql
binlog2sql.py --start-datetime='2023-08-11 19:00:00' -B -ddb_financial -tt_accrual_interest  --start-file='mysql_bin.001571'>test.sql
binlog2sql.py --start-datetime='2023-08-11 19:00:00' -B -ddb_financial -tt_accrual_interest  --start-file='mysql_bin.001571' -uroot -p'31Jr20()'>test.sql

【2】朋友参考文档

感谢柠檬

（2.1）binlog2sql

安装教程：
# tar xvf binlog2sql.tar.gz
# cd binlog2sql/binlog2sql_dependencies/

# tar xvf setuptools-0.6c11.tar.gz
# cd setuptools-0.6c11
# python setup.py install

# cd ..
# tar xvf pip-9.0.1.tar.gz
# cd pip-9.0.1
# python setup.py install

# cd ..
# pip install *.whl mysql-replication-0.9.tar.gz



binlog2sql的使用参数说明：
mysql连接配置
-h host; -P port; -u user; -p password
解析模式
--stop-never 持续同步binlog。可选。不加则同步至执行命令时最新的binlog位置。
-K, --no-primary-key 对INSERT语句去除主键。可选。
-B, --flashback 生成回滚语句，可解析大文件，不受内存限制，每打印一千行加一句SLEEP SELECT(1)。可选。与stop-never或no-primary-key不能同时添加。
解析范围控制
--start-file 起始解析文件。必须。
--start-position/--start-pos start-file的起始解析位置。可选。默认为start-file的起始位置。
--stop-file/--end-file 末尾解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。
--stop-position/--end-pos stop-file的末尾解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。
--start-datetime 从哪个时间点的binlog开始解析，格式必须为datetime，如'2016-11-11 11:11:11'。可选。默认不过滤。
--stop-datetime 到哪个时间点的binlog停止解析，格式必须为datetime，如'2016-11-11 11:11:11'。可选。默认不过滤。
对象过滤
-d, --databases 只输出目标db的sql。可选。默认为空。
-t, --tables 只输出目标tables的sql。可选。默认为空。

生成正向SQL
python binlog2sql.py -h localhost -u root -p mysql123 -d hch -t hch --start-file mysql-bin.000009 > 1.sql 

python binlog2sql.py -h 192.168.146.16 -u root -p root --start-file mysql-bin.000002 > 1.sql

生成反向SQL
python binlog2sql.py -h localhost -u root -p mysql123 -d hch -t hch --start-file mysql-bin.000009 -B

根据pos生成反向SQL
python binlog2sql.py -h localhost -u root -p mysql123 -d hch -t hch --start-file mysql-bin.000009 --start-pos=1259 --stop-pos=1442 -B > roll_1.sql 

根据时间生成反向SQL
python binlog2sql.py -h localhost -u root -p mysql123 -d hch -t hch --start-file mysql-bin.000009 --start-datetime='2016-11-11 11:11:11' --stop-datetime='2016-11-11 11:11:11' -B > roll_1.sql

（2.2）my2sql

1.上传
go1.11.5.linux-amd64.tar.gz

2.解压
/usr/local/

3.配置基础环境
cat /etc/profile.d/go.sh
vim /etc/profile.d/go.sh
#!/bin/bash
export PATH=$PATH:/usr/local/go/bin

4.让基础环境生效
source /etc/profile.d/go.sh

echo "export PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile


用户名                ：-user string
密码                    ： -password string
host地址                ：-host string
开始binlog文件        ：-start-file string
结束binlog文件        ：-stop-file string
开始时间            ：-start-datetime string
结束时间            ：-stop-datetime string
开始pos偏移量        ：-start-pos int
结束pos偏移量        ：-stop-pos int
生成反向SQL        ：-work-type rollback string
输出数据地址        ：-output-dir  string
指定库                ：-databases：过滤库，默认为全部库
指定表           ：-tables：过滤表，默认为全部表



整体的binlog还原
./my2sql -user "root" -password "root" -host 192.168.146.21 -port 3306 -start-file mysql-bin.000003 -stop-file mysql-bin.000003 -work-type rollback  -output-dir bb/

根据时间还原
./my2sql -user "root" -password "root" -host 192.168.146.21 -port 3306 -start-file mysql-bin.000003 -start-datetime "2020-07-18 11:40:00" -stop-datetime "2020-07-18 11:40:00"   -work-type rollback  -output-dir bb/

根据pos偏移量还原
./my2sql -user "root" -password "root" -host 192.168.146.21 -port 3306 -start-file mysql-bin.000003 -start-pos 11 -stop-pos 22  -work-type rollback  -output-dir bb/

./my2sql  -user root -password xxxx -host 127.0.0.1   -port 3306 -mode file -local-binlog-file ./mysql-bin.011259  -work-type 2sql  -start-file mysql-bin.011259  -start-datetime "2020-07-16 10:20:00" -stop-datetime "2020-07-16 11:00:00" -output-dir ./tmpdir

./my2sql  -user root -password root -host localhost   -port 3306 -mode file -local-binlog-file /data/mysql3306/logs/binlog.000002  -work-type 2sql  -start-file /data/mysql3306/logs/binlog.000002 -stop-file /data/mysql3306/logs/binlog.000002  -output-dir ./aa


tail -2 /data/mysql3306/logs/binlog.index | head -1

（3）总结 My2sql比 binlog2sql 快一点

（4）mysql8 怎么解析？把Binlog 复制到5.7,并导入表结构到5.7，再使用上面2个工具

参考文档

MyFlash开源地址：https://github.com/Meituan-Dianping/MyFlash

原文链接：https://blog.csdn.net/weixin_41407372/article/details/78813389

参考myflash：https://blog.csdn.net/ciqiyuan9775/article/details/100409699

GITHUB地址：https://github.com/Meituan-Dianping/MyFlash

posted @ 2019-04-24 23:33 郭大侠1 阅读(1042) 评论(0) 编辑收藏举报

刷新页面返回顶部