摘要：
缘起： 若干年前，刚到一家3C类的电商公司做DBA，到公司没几天，公司的CEO和研发总监，说现在要做个事情： 把IDC的数据库的数据，要同步一份到仓库，因单量大，仓库经常爆仓，仓库网络不好时，可以直接用同步的数据 记得当时CEO还特意，弄个讲座讲了公司如何处理单量爆仓 第一次做DBA，第一个月只是有 阅读全文
摘要：
《道德经》：万物之始，大道至简，衍化至繁 稻盛和夫：真正的聪明人，善于把复杂事情简单化，至简也至难 稻盛和夫：马云，任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作：1，审核SQL 2，执行SQL 3，优化SQL 4，升级服务器 5，配置各种高可用 …… ？ 在DBA行业做了比 阅读全文
摘要：
公司核心主库，在我来公司时是1主5从库（腾讯云RDS），外加7个自建级联从库。 从2020年2月到2021年8月优化总结： 1, 7个自建多级从库，从以前的中转同步改成从一级从库同步，废弃了5个从库实例，还有1个给大数据用，另外一个做备用 2，数据库容量控制， 期间清理出400多G空间的表数据 3， 阅读全文
摘要：
当初分析日志，麻烦的是腾讯云的SQL审计日志下载，有下列限制： 1，单次最多1000万条下载 2，单个实例最多生成5条日志文件，多的要先删除以前文件才能生成 腾讯云日志文件生成界面： 一开始用手工下载，想想也不多，可以忍受，弄了一段时间后，研发的要求越来越高，不能一直这样手工，刚好旁边的运维小伙用G 阅读全文
摘要：
上一篇介绍了用ELK分析4亿多条审计日志过程，现在介绍如何用Python3分析ES的程序 需要分析的核心库审计数据： 1，950多张表，几十个账号， 2，5种操作类型（select,update,insert,delete,replace），14个实例（1主13从库） 分析说明： select汇总： 阅读全文
摘要：
1.1、工作原理 pt-table-checksum会对校验的表数据进行数据块(数据块大小根据服务负载情况调整)划分，并对数据块数据进行checksun处理；存储在建立的表中。在主库中执行基于statemnet的sql语句，生成数据块的checksum;在从库执行相同的sql语句，获取到数据块的ch 阅读全文
摘要：
在这个世界，我们每往前走一步都会有困惑相伴随，原因既可能是我们的心境破碎了，看什么都没有感觉；也可能是我们的高度不够，看什么都觉得有问题。如果看不懂、看不透世间所发生的事情，就是在用过时的思维来解释当下的现实。社会越往前发展，冲击我们内心和思想的事情就会越多。人心中若有解不开的困惑，整个思维都可能是 阅读全文
摘要：
KQL： {'query': {'bool': {'must': [{'match': {'Sql': 'insert'}}, {'match': {'PolicyName.keyword': 'd8t'}}, {'match': {'Sql': 'into'}}], 'should': [{'te 阅读全文
摘要：
elasticsearch实现传统数据库中的or功能，需要使用bool下面的should关键字，对于A or B的情况，应该至少返回A和B中的一个，但是如下语句，不仅返回A和B中的至少一个，也返回了没有A也没有B的情况： { "query": { "bool": { "fileter":[ {"ra 阅读全文
摘要：
孟子： 人生总是有所求，求有两种： 1.求则得之，舍则失之，是求有益于得也，求在我者也。 2.求之有道，得之有命，是求无益于得也，求在外者也。 改革开放三十年来中国民族形成的民风： 各施其能，各谋其利纷争付诸于法律，前途交给了偶然 民风本身无可厚非，但可能出现的问题： 如果这个民风伴随着重功利轻道义 阅读全文
摘要：
前言： 该文章将会介绍以下： 1，快速分析SQL日志的几种方法 2，使用mysql的全文索引快速分析少量SQL审计 3，准确快速分析4亿多条审计SQL日志（过程和最终解决方案） 公司核心库拆库拆表，对表和账号分析，大量系统连接，1主13个从库，几十个账号，后来都开通了全SQL审计，14个实例的审计日 阅读全文
摘要：
查询表明细： ELK的KQL样例，显示时间请选择最近15天： 样例1：查询ol_lc 表增删改查，不是jy2_rw的账号明细 KQL：（ol_lc or oc.ol_lc) and (select or update or delete or insert or replace) and not U 阅读全文
摘要：
数据库日常维护中我们经常遇到死锁的问题，由于无法获取造成死锁的事务内执行过的语句，对我们死锁的分析造成很大的困难。但是在MySQL 5.7中我们可以利用performance_schema来获取这些语句，为我们解决死锁问题提供了一个新的思路，下面我们将解释这种方法的使用。 一、开启相关统计的方法 如 阅读全文
摘要：
网友善果聊孩子喝黑豆汤前后的明显变化 【传说】豆仔姥姥(1134846367) 2014/11/27 9:25:25 笑笑，你怀孕喝黑豆汤了吗？ 【冒泡】笑笑(237337745) 2014/11/27 9:57:24 没，家里老人婆有点那个，所以没喝 【活跃】善果2013.12.8(1515420 阅读全文
摘要：
大家都坐过汽车，你们觉得究竟是什么汽车？ 是不是觉得，要解释清楚还挺难的： 要由发动机提供动力，烧油或者清洁能源带动轮子转动；是由底盘构成的，有座位、有玻璃，可以用来载客拉货…… 先打住，我们看看高手怎么说： “汽车，不就是四个轮子和两排沙发吗？” 说这句话的人，是刚刚进入汽车行业的李书福，吉利集团 阅读全文
