my04_Mysql复制数据一致性校验
1. 搭建一套双节点的Mysql主从复制数据库
2. 主库初始化测试数据
drop table if exists test; create table test ( tid int,tname varchar(12),test_id int NOT NULL AUTO_INCREMENT COMMENT '主键',PRIMARY KEY (test_id)); DROP PROCEDURE IF EXISTS `p_addtest`; DELIMITER ;; CREATE DEFINER=`automng`@`10.%` PROCEDURE `p_addtest`(IN n int) BEGIN DECLARE i int; SET i = 0; WHILE i < n DO insert into test(tid,tname) values(i,'aaabbb'); set i = i + 1; END WHILE; END ;; DELIMITER ; call p_addtest(20000);
3. 安装 percona-toolkit
wget https://www.percona.com/downloads/percona-toolkit/3.0.11/binary/redhat/7/x86_64/percona-toolkit-3.0.11-1.el7.x86_64.rpm yum localinstall percona-toolkit-3.0.11-1.el7.x86_64.rpm -y
4. shell命令行执行校验，主库此时无业务数据插入
在哪个数据库服务器上执行没关系，关键是该命令连接的是主库，即host指向的是主库的IP地址，pt-table-checksum命令会自动查找该主库有哪些从库，无须人工干预
automng用户具有ALL PRIVILEGES 权限。
pt-table-checksum --nocheck-binlog-format --recursion-method="processlist" --replicate=vodb.checksums --host=10.168.21.186 --port=3313 -uautomng -pAutomng_123 --databases=vodb
输出结果，注意输出结果正常情况下是没有警告或者错误信息的，如果有，则输出结果可能不准确
Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 07-24T14:21:01 0 0 20000 0 4 0 0.075 vodb.test
重点在于DIFFS列，0表示主从数据一致，非0值表示不一值
5. 从库执行命令校验，主库模拟业务数据
主库模拟业务数据
mysql> call p_addtest(200000);
执行数据库一致校验，可以看到表中的数据一直在增长，但DIFFS的值为一直为0，这表示在使用 pt-table-checksum 命令做数据库一致校验时，无需关心主库是否存在业务
# pt-table-checksum --nocheck-binlog-format --recursion-method="processlist" --replicate=vodb.checksums --host=10.168.21.186 --port=3313 -uautomng -pAutomng_123 --databases=vodb Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 07-24T14:22:59 0 0 28850 0 4 0 0.203 vodb.test # pt-table-checksum --nocheck-binlog-format --recursion-method="processlist" --replicate=vodb.checksums --host=10.168.21.186 --port=3313 -uautomng -pAutomng_123 --databases=vodb Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 07-24T14:23:04 0 0 37302 0 4 0 0.581 vodb.test
6. 在从库插入数据使主从数据不一致
mysql> use vodb;Database changed mysql> desc test; +---------+-------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +---------+-------------+------+-----+---------+----------------+ | tid | int(11) | YES | | NULL | | | tname | varchar(12) | YES | | NULL | | | test_id | int(11) | NO | PRI | NULL | auto_increment | +---------+-------------+------+-----+---------+----------------+ 3 rows in set (0.01 sec) mysql> select max(test_id) from test; +--------------+ | max(test_id) | +--------------+ | 220000 | +--------------+ 1 row in set (0.00 sec) mysql> insert into test values(220001,'实打实的手敲代码',220001); Query OK, 1 row affected (0.03 sec)
查看主从数据一致性
# pt-table-checksum --nocheck-binlog-format --recursion-method="processlist" --replicate=vodb.checksums --host=10.168.21.186 --port=3313 -uautomng -pAutomng_123 --databases=vodb Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 07-24T14:24:48 0 1 220000 1 4 0 0.605 vodb.test
DIFFS列值不为零，就表示vodb.test这张表数据存在主从不一致的情况
7. pt-table-sync命令可以修改主从数据不一致的情况，但不推荐使用，建议还是手工排查出数据库不一致的原因，以防该现象重复出现，而不是一个命令执行完毕，数据库数据一致了，也不清楚该命令到底做了些什么。
这里不再操作该命令，若有兴趣可参考官方文档进行操作 https://www.percona.com/doc/percona-toolkit/3.0/pt-table-sync.html
8. 手工删除从库不一致数据
mysql> select max(test_id) from test; +--------------+ | max(test_id) | +--------------+ | 220001 | +--------------+ 1 row in set (0.00 sec) mysql> mysql> mysql> delete from test where test_id=220001; Query OK, 1 row affected (0.05 sec)
9. 再次验证数据库一致性
# pt-table-checksum --nocheck-binlog-format --recursion-method="processlist" --replicate=vodb.checksums --host=10.168.21.186 --port=3313 -uautomng -pAutomng_123 --databases=vodb Checking if all tables can be checksummed ... Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE 07-24T15:28:30 0 0 220000 0 4 0 0.659 vodb.test
回顾总结
工具的安装不需要在主库上，也不需要在从库上，只需要在一台能够连接到主库的服务器上安装即可
连接用户要具有ALL PRIVILEGES 权限
pt-table-checksum --nocheck-binlog-format --recursion-method="processlist" --replicate=vodb.checksums --host=10.168.21.186 --port=3313 -uautomng -pAutomng_123 --databases=vodb
DIFFS列值为0则数据一致，反之则不一致。
