摘要：
记录一下工作上疑难问题解决： 一，方便的页面监控 前几天早上，负责的kettle抽取数据表的任务又报错了，早上看手机有4个未接报警电话，一看是人员表，原来昨天报表系统有个大的查询一直未查询完成，导致truncate这个人员表，无法获取meta元数据锁，后续执行kettle抽取和SQL计算的都报错。为 阅读全文
摘要：
这几天，突然想写写这些年的工作总结，毕业至今快20年的回顾。 想到20年前，在做毕业设计的时候，当时是学的机械工程类专业，因为带毕业设计的老师兼职企业有个门户网站的需求，而我又会用DreamWeaver做点网站设计，带的老师破天荒给个企业做门户网站的毕业设计。 珍惜心：该网站可能此生自己能做唯一一个 阅读全文
摘要：
数据抽取平台pydatax实现过程中，有2个关键点： 1、是否能在python3中调用执行datax任务，自己测试了一下可以，代码如下： 这个str1就是配置的shell文件 try: result = os.popen(str1).read() except Exception as e: pri 阅读全文
摘要：
最近突然想起要写下自己在2018年发生的一系列事情，给自己警示和提醒。 2018年上半年的一天晚上，自己突然做了一个梦，梦中有人跟我说："你今年会有灾难，如果度过去就会活到多少多少岁"，梦里听到灾难，我警觉的说，我已经在一个风水师父里请了护身符了，记得我还把护身符给她看。 因为2018年我犯太岁，特 阅读全文
摘要：
个人网上搜集经典修行，鸾书和善书等(pdf或doc) 对待鸾文态度： 1，《理天游记》 第廿二回 师徒论扶鸾 方便度众莫执着 济佛曰：由此可知扶鸾之法可用，但是用得必须恰当，因为用之恰当即是度人的法宝，用之不恰当即是恼人的法器，所以看扶鸾的鸾文，也必须以平实的眼光来看它，不能以凡是圣贤仙佛所降的鸾文 阅读全文
摘要：
今天介绍一下另一起入侵事件，这次入侵事件的黑客技术水平明显要高于上次，作为这次入侵事件的发现者，感触颇多，由于已经离开该公司，避免对公司有什么影响，公司名用代号替代。 详细追查过程和相关敏感信息忽略。 B互联网公司，在出现该入侵事件几个月前，公司出现部分客户手机号被盗情况，后续将客户手机号做加密，但 阅读全文
摘要：
总结这些年数据库运维，除了数据库优化，审核，高可用，故障处理等这些日常事情外，给我留下感触最深的就是有二起数据库入侵事件，自己亲身经历的黑客攻击拖库事件，一起是事件的追查者，一起是事件的发现者，两个事件已经距离有点长时间，而且已经离开，不会对公司有什么影响，公司名用代号替代。 今天介绍一下其中一起入 阅读全文
摘要：
现在主库的MySQL的QPS一直在3K/s左右，想知道其到底执行了那些SQL，或者是那些SQL执行的次数比较多： 腾讯云的后台监控： 开启腾讯云的SQL审计后，下载几分钟SQL日志文件, 下列语句在MySQL建表，如我们下载了6分钟的单实例审计日志： CREATE TABLE `ex` ( `Aff 阅读全文
摘要：
最近10多年一直在从事DBA方面的工作，5年多前经常心跳突然很快，一会后心跳就正常，期间也看过中医，中医说是：心悸。 但是没怎么专门治疗，特别是在2015年后，心悸比较厉害，有时突然心跳很快，人就有点受不了，感觉人都不行了，最多时一天有好几次，也查了一下网上的治疗小技巧，试了但是效果不好。 一直到2 阅读全文
摘要：
把自己看到的，对IT等系统的领悟，也就是通常说的道，备忘，经常听到一句话：守正出奇 但要能做到这一点，先短时间看清事物本质： 数据库运维核心 可控 运维的核心 提质增效降本 监控核心 可观测 程序核心 开源增效降本 系统架构核心 抽象和前瞻 云计算核心 统一管理控制和调度 社交的核心 找到同类 大数 阅读全文
摘要：
最近加字段，突然想起几年前一次大表加字段的事情。 缘起： 公司的订单表和配送单相关表，以前金额字段是：decimal(19,3)类型，正常肯定够用，但是财务有个需求，需要把字段类型从decimal(19,3) 改成decimal(38,10)类型，支持10位小数点。 当BI部门给我提这个需求时，也没 阅读全文
摘要：
最近事情比较少，闲下来刚好可以对以前的事情做个总结。 这次总结是10年前的一次数据库优化，和5年前的一次右下腹通持续疼痛的治疗过程。 数据库优化的过程如下： 1、2011年2月--2011年7月数据库性能优化过程 时间有点久，但最深刻的是，出现CPU持续100%的时候，找不到具体原因？ 什么原因？ 阅读全文
摘要：
缘起： 若干年前，刚到一家3C类的电商公司做DBA，到公司没几天，公司的CEO和研发总监，说现在要做个事情： 把IDC的数据库的数据，要同步一份到仓库，因单量大，仓库经常爆仓，仓库网络不好时，可以直接用同步的数据 记得当时CEO还特意，弄个讲座讲了公司如何处理单量爆仓 第一次做DBA，第一个月只是有 阅读全文
摘要：
《道德经》：万物之始，大道至简，衍化至繁 稻盛和夫：真正的聪明人，善于把复杂事情简单化，至简也至难 稻盛和夫：马云，任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作：1，审核SQL 2，执行SQL 3，优化SQL 4，升级服务器 5，配置各种高可用 …… ？ 在DBA行业做了比 阅读全文
摘要：
公司核心主库，在我来公司时是1主5从库（腾讯云RDS），外加7个自建级联从库。 从2020年2月到2021年8月优化总结： 1, 7个自建多级从库，从以前的中转同步改成从一级从库同步，废弃了5个从库实例，还有1个给大数据用，另外一个做备用 2，数据库容量控制， 期间清理出400多G空间的表数据 3， 阅读全文
摘要：
下列优化的SQL案例，区别于平常加SQL索引的方法优化，大部分都是通过改写SQL语句方法优化，都是日常优化线上慢SQL的实际案例，有比较好的代表性（思路和方法），也是对自己这些年来做SQL优化的总结，对后面优化SQL有很好的提示和借鉴，案例会持续更新中。 说明： 最近优化慢SQL，执行计划错误和OR 阅读全文
摘要：
前言： 该文章将会介绍以下： 1，快速分析SQL日志的几种方法 2，使用mysql的全文索引快速分析少量SQL审计 3，准确快速分析4亿多条审计SQL日志（过程和最终解决方案） 公司核心库拆库拆表，对表和账号分析，大量系统连接，1主13个从库，几十个账号，后来都开通了全SQL审计，14个实例的审计日 阅读全文
摘要：
1，每次查询的数据要有限制 2013年1月 产品独立数据库，由于多条SQL每次查询数据超过几千条，有些超过10万条数据未分页，造成应用服务器CPU有时持续100%。 2，禁止循环调用SQL 2011年5月 程序调用Sys_User查询，每分钟执行超过3千次，造成服务器CPU持续100% 3，禁止使用 阅读全文
摘要：
今天介绍一下从业数据库dba这么多年，前段时间碰到的奇葩事情，说之前，提2个问题： 1，见到单个数据库最多有多少张业务表 2，一个表有30多个字段，表里就有一条数据，写一个查询就这一个表的sql，不关联其他表，不要用WAITFOR DELAY 等关键字，写一个执行查询要20秒以上的sql 以前我也从 阅读全文
摘要：
目前公司有一套核心交易数据库配置了AlWaysON，SQL 2012版本， 1主4从， 其从库(8,14, 8.15) 这2台只读的从数据库服务器， 后台程序和wms等很多程序，都是直接配置IP连接这个2个机器，而且这2台机器已经过保，如果其中一天机器出现故障，不能使用，怎么处理？ 怎么解决？ 先谈 阅读全文
摘要：
公司有一套StarRocks的大数据库在大股东的腾讯云环境中，通过腾讯云的对等连接打通，通过dolphinscheduler调度datax离线抽取数据和SQL计算汇总，还有在大股东的特有的Flink集群环境，该环境开发了flink开发程序包部署，实时同步数据。 公司业务帆软报表平台有40张左右的报表 阅读全文
摘要：
数据抽取平台pydatax，前期项目做过介绍： 1，数据抽取平台pydatax介绍--实现和项目使用 项目2： 客户有9个分公司，用的ERP有9套，有9个库，不同版本，抽取的同一个表字段长度有不一样，字段可能有多有少，客户ERP核心分公司ERP几个月后有大版本升级。 在2023年12月，当时做这个抽 阅读全文
摘要：
公司SaaS系统有个给客户的员工发放金币，最后计算金币老是流水和总额对不上，以前负责这块的人做过修改还是不对，后来这负责人离职，接手大数据的事情后，该客户真在用金币这块业务，而且财务用这个结算对账，2023年底客户逼急了，要彻底解决这个问题: 和负责这块的产品经理沟通这块内容，说这个金币计算有历史原 阅读全文
摘要：
几年前MySQL数据库出现突然的从库延迟故障和CPU爆高时，如何排查具体原因，可能说已在腾讯云的MySQL库里开启了SQL全审计，记录了全部执行的SQL，再通过下面的方法就可以很容易找到原因： 1，实用QPS和TPS高的高效分析方法 但如果没有开通SQL全审计，如何去找原因。当然说可以看慢SQL日志 阅读全文
摘要：
导读:当我经过长时间的思考后准备给自己的职业生涯带来一个大的转折，并正式提交了离职报告后，回想在公司的这十年，百感交集。 作者：徐家骏 | 文章来源：码农徐家骏 走入华为：被一张华为人报“骗”到华为 1997 年7月16日，我只身提着一个包从深圳宝安机场下飞机，走出机场，天是那么蓝、白云那么低、空气 阅读全文
摘要：
记录一下2年前的MySQL大表的归档，当时刚到公司，发现MySQL的业务核心库，超过亿条的有7张表，最大的表有9亿多条，有37张表超过5百万条，部分表行数如下： 在测试的MySQL环境 ： pt-archiver 工具，测试200的dev实例，5800万条数据，纯删除1000万条数据，花费约9分多钟 阅读全文
摘要：
种一德而百善丛生，动一念而乾坤皆变；好文易删，自行复制备存 何为风水？“风”就是气氛和场能，“水”就是流动和变化。 风水的原理是什么呢？非常核心的四个字——“心生万法”，非常简单，但是大道至简。 所有的风水中： 第一风水是什么？是人。 人的第一风水是什么？是心。 人的第二风水是什么？是嘴巴。 人的第 阅读全文
摘要：
在生活中我们会遇到各种各样的问题。有些问题非常简单；有的却非常复杂，让人们无从下手去解决。 但有些看似复杂的问题，只要我们仔细去分析它们，拨开云雾，自然就会见到“青天”。这种分析方法，就是“化繁为简”的思考模式，也就是——简化思考法。当复杂的问题被简化之后，自然就会找到解决的突破口。 例如尝试分析一 阅读全文
摘要：
声明：本故事部分虚构，以娱乐为主，绝非宣扬封建迷信思想，请诸位读者明鉴。要是您能从这个小故事中悟出一些道理，那将是作者极大的荣幸。文中图片来源于网络，若有侵权联系必删。 刘嘉会在唐太宗贞观年间官至校书郎，到了唐高宗永徽年间，因为支持反对唐高宗改立武则天为皇后的褚遂良和长孙无忌，引起了唐高宗的憎恶，就 阅读全文
摘要：
01、开篇序 孔子说过：“执其两端，用其中。”在实际生活中要能变通地把矛盾转化，“比中而亓”,采用“中庸”的态度与人相处，因势利导，换一种方式去解决矛盾，绝不能“一条道走到黑”,学会灵活地用“中庸”的思想，从而达到的境界。 一切事物都是对立而互补的，阴阳相生相克，变化相辅相成，事件相激相随。固阴阳之 阅读全文
摘要：
南怀瑾对准提法的评论 准提法究竟有什么好呢?不论在家、出家一样的有效果，不管何时何地是净是垢，最脏之时，地也都可以修。密宗其他咒子，其他法门就不一定行，有些咒子，如吃了一口大蒜、犯了什么忌讳，这些咒子就不灵了。只有准提法，一切不避讳。另有一法也一切不避讳，即金则密迹的法门。那是降魔法，非常历害。我在 阅读全文
摘要：
缘起 今天早上一到公司，技术支持的小伙就说一个后台报表，计算的任务完成率超过100%，有异常，客户要用，比较急，要解决这个问题。 解决过程 自从接了上任的报表计算，这个就头疼，没办法硬着头皮查什么原因，报表的SQL比较简单，一个查：接受任务数表a, 一个查：完成任务数表b a和b表，都是直接计算的结 阅读全文
摘要：
1508年，明武宗正德三年。 由于开罪炙手可热的大宦官刘瑾，挨了四十大板、并被“流放”的王阳明，历经艰难险阻，终于风尘仆仆地抵达“蛮荒之地”——贵州龙场驿。 受尽折磨的王阳明，却无暇顾及自身遭遇，而是始终在思考一个哲学问题“人如何才能做圣贤”。 久久上下求索而不得，终于在某个夜半时分，他激动地大喊大 阅读全文
摘要：
中医的最高境界是养生，养生的最高境界是养心。所以，就养生而言，下士养身，中士养气，上士养心。看一个人也一样，观相不如观气，观气不如观心。 1，一切药物对治病来说都是治标，不是治本，不管是中医还是西医。因为一切的病都是错误的因产生错误的果。错误的因不除，错误的果就不会绝根。健康的根本在心。一切法从心生 阅读全文