08 2021 档案

用ELK分析每天4亿多条腾讯云MySQL审计日志(4)--MySQL全文索引
摘要：前言： 该文章将会介绍以下： 1，MySQL全文索引的使用 2，全文索引停止词STOPWORD 3，使用全文索引的高效和准确 最近事情比较少，刚好可以梳理一下以前的工作，做一下总结！ 在以前的解决方案中有介绍百万级如何使用MySQL全文索引方法，在没使用ELK前，线上13个实例的SQL日志都是手工导 阅读全文
posted @ 2021-08-31 11:23 zping 阅读(199) 评论(0) 推荐(0)
MySQL 8.0.25从节点自动故障转移测试
摘要：从MySQL 8.0.23开始，复制结构中，增加了从节点自动故障转移功能。测试一下起功能： 用dbdeployer快速安装测试环境，我这边安装的是：dbdeployer1.8.5 -- 安装脚本 dbdeployer deploy replication 8.0.25 --bind-address= 阅读全文
posted @ 2021-08-27 11:19 zping 阅读(302) 评论(0) 推荐(0)
用智慧改变命运
摘要：知识改变命运 作者:易简 季秋一天，子孔老先生遇一位开培训部事业成功女士。 成功女士溃然而叹：“我虽然事业有成，也赚到了钱，但工作非常幸苦，时常感觉疲惫，但又停不下来。老公吧，能力差，帮不上忙，夫妻感情也不好。员工吧，又要提防着她们翅膀硬了，把学生带走，整日操心经营。不知道活着为了什么，觉得生活没有 阅读全文
posted @ 2021-08-25 15:57 zping 阅读(358) 评论(0) 推荐(0)
redis大key分析工具redis-rdb-tools
摘要：最近1台云Redis的内存曝高，24G的内存占用19G，而且一直增长，想看那些key比较大，腾讯云Redis有大key分析的结果，但是这台没有，估计要找腾讯云的技术刷新一下数据： 分析大key工具，有个很好的开源工具：redis-rdb-tools 基于python2，比较好用。 安装python2 阅读全文
posted @ 2021-08-25 14:58 zping 阅读(880) 评论(0) 推荐(0)
王阳明：心若不动，万事从容
摘要：01 养不动心 人生在世间时时刻刻像处于荆棘丛林之中一样，处处暗藏危险或者诱惑。只有不动妄心，不存妄想，才能使自己的行动无偏颇，抵制诱惑。王阳明说：“身之主宰便是心，心之所发便是意，意之本体便是知，意之所在便是物”。心是身体和万物的主宰，当心灵安定下来不为外物所动时，本身所具备的巨大智慧便会显露出来 阅读全文
posted @ 2021-08-25 11:48 zping 阅读(961) 评论(0) 推荐(0)
MySQL表锁定处理
摘要：研发要在一个ol_poster_sign表加字段，表比较大有400多万条，用gh-ost加字段时，在切换过程中一直报错： 无法完成最后的切换： INFO Magic cut-over table created INFO Locking `test`.`ol_poster_sign`, `test` 阅读全文
posted @ 2021-08-24 18:37 zping 阅读(225) 评论(0) 推荐(0)
阿里数据库SRE(转)
摘要：SRE的职责划分却不尽相同，那么SRE究竟在做什么？ SRE的职责 SRE主要负责Google所有核心业务系统的可用性、性能、容量相关的事情，根据《Site Reliability Engineering 》一书提及的内容，笔者做简单汇总，Google SRE的工作主要包括但不限于如下： 基础设施容 阅读全文
posted @ 2021-08-18 18:49 zping 阅读(415) 评论(0) 推荐(0)
B+Tree
摘要：B+Tree相对于B-Tree有几点不同： 非叶子节点只存储键值信息。 所有叶子节点之间都有一个链指针。 数据记录都存放在叶子节点中 实际情况中每个节点可能不能填充满，因此在数据库中，B+Tree的高度一般都在2~4层。mysql的InnoDB存储引擎在设计时是将根节点常驻内存的，也就是说查找某一键 阅读全文
posted @ 2021-08-18 17:31 zping 阅读(83) 评论(0) 推荐(0)
SSIS数据同步系统
摘要：缘起： 若干年前，刚到一家3C类的电商公司做DBA，到公司没几天，公司的CEO和研发总监，说现在要做个事情： 把IDC的数据库的数据，要同步一份到仓库，因单量大，仓库经常爆仓，仓库网络不好时，可以直接用同步的数据 记得当时CEO还特意，弄个讲座讲了公司如何处理单量爆仓 第一次做DBA，第一个月只是有 阅读全文
posted @ 2021-08-17 15:48 zping 阅读(891) 评论(0) 推荐(0)
数据库运维核心--可控
摘要：《道德经》：万物之始，大道至简，衍化至繁 稻盛和夫：真正的聪明人，善于把复杂事情简单化，至简也至难 稻盛和夫：马云，任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作：1，审核SQL 2，执行SQL 3，优化SQL 4，升级服务器 5，配置各种高可用 …… ？ 在DBA行业做了比 阅读全文
posted @ 2021-08-13 16:36 zping 阅读(1602) 评论(0) 推荐(0)
2021年8月核心MySQL主库优化总结
摘要：公司核心主库，在我来公司时是1主5从库（腾讯云RDS），外加7个自建级联从库。 从2020年2月到2021年8月优化总结： 1, 7个自建多级从库，从以前的中转同步改成从一级从库同步，废弃了5个从库实例，还有1个给大数据用，另外一个做备用 2，数据库容量控制， 期间清理出400多G空间的表数据 3， 阅读全文
posted @ 2021-08-12 16:52 zping 阅读(190) 评论(0) 推荐(0)
用ELK分析每天4亿多条腾讯云MySQL审计日志(3)--下载日志
摘要：当初分析日志，麻烦的是腾讯云的SQL审计日志下载，有下列限制： 1，单次最多1000万条下载 2，单个实例最多生成5条日志文件，多的要先删除以前文件才能生成 腾讯云日志文件生成界面： 一开始用手工下载，想想也不多，可以忍受，弄了一段时间后，研发的要求越来越高，不能一直这样手工，刚好旁边的运维小伙用G 阅读全文
posted @ 2021-08-12 14:41 zping 阅读(199) 评论(0) 推荐(0)
用ELK分析每天4亿多条腾讯云MySQL审计日志(2)--EQL
摘要：上一篇介绍了用ELK分析4亿多条审计日志过程，现在介绍如何用Python3分析ES的程序 需要分析的核心库审计数据： 1，950多张表，几十个账号， 2，5种操作类型（select,update,insert,delete,replace），14个实例（1主13从库） 分析说明： select汇总： 阅读全文
posted @ 2021-08-12 11:23 zping 阅读(278) 评论(0) 推荐(0)