06 2024 档案
摘要:MySQL手动数据校验+云数据库数据校验 校验原理 1、将每条数据需要比对的字段拼接成为字符串,字段顺序需要一致。 2、使用md5摘要算法对字符串进行转换,生产该条数据的checksum,大多数情况checksum会比原始字符串短,便于使用 3、百万数据建议使用聚合比对转步骤4,不使用聚合直接转步骤
阅读全文
摘要:pt-table-sync与pt-table-checksum 数据一致性校验,percona公司出品 配置percona的yum源。yum install epel-releaseyum install libev qpress yum install perl perl-devel perl-T
阅读全文
摘要:MySQL数据校验TIDB sync-diff-inspector 一、sync-diff-inspector简介 sync-diff-inspector 是由 PingCAP 开源的数据校验工具,用于校验MySQL/TiDB中两份数据是否一致。 主要功能如下: 对比表结构和数据 如果数据不一致,则
阅读全文
摘要:https://github.com/github/gh-ost/releases/tag/v1.0.49 直接选择了rpm包安装;https://github.com/github/gh-ost/releases/download/v1.0.49/gh-ost-1.0.49-1.x86_64.rp
阅读全文
摘要:gh-ost.py #!/bin/env python# -*- encoding: utf-8 -*-# # Purpose: gh-ost# Created: 2018-06-16# import MySQLdbimport reimport sysimport timeimport subpr
阅读全文
摘要:DDL 一向是业务的痛点,尤其是对大型表的 DDL 操作,具有操作时间久,对性能影响大,可能影响业务正常使用等问题。 本文将详细解释 MySQL DDL 的原理,并分享一些尽可能减少 DDL 对业务的影响的办法。 一、MySQL DDL的方法 MySQL 本身自带三种算法: COPY 算法,为最古老
阅读全文
摘要:02维护-redis清理key方法总结 redis长期使用,不规范使用,就会导致内存越来越大,而内存中存在大量的无用的key,那么如何清理key? 批量清理key? Redis DEL key命令用于删除单个Key。是立刻执行的。如果是大key,unlink key_name 该命令能够以非阻塞的方
阅读全文