随笔分类 - A-疑难解决
原创心得精华文章
摘要：公司有一套StarRocks的大数据库在大股东的腾讯云环境中，通过腾讯云的对等连接打通，通过dolphinscheduler调度datax离线抽取数据和SQL计算汇总，还有在大股东的特有的Flink集群环境，该环境开发了flink开发程序包部署，实时同步数据。 公司业务帆软报表平台有40张左右的报表
阅读全文
摘要：数据抽取平台pydatax，前期项目做过介绍： 1，数据抽取平台pydatax介绍--实现和项目使用 项目2： 客户有9个分公司，用的ERP有9套，有9个库，不同版本，抽取的同一个表字段长度有不一样，字段可能有多有少，客户ERP核心分公司ERP几个月后有大版本升级。 在2023年12月，当时做这个抽
阅读全文
摘要：公司SaaS系统有个给客户的员工发放金币，最后计算金币老是流水和总额对不上，以前负责这块的人做过修改还是不对，后来这负责人离职，接手大数据的事情后，该客户真在用金币这块业务，而且财务用这个结算对账，2023年底客户逼急了，要彻底解决这个问题: 和负责这块的产品经理沟通这块内容，说这个金币计算有历史原
阅读全文
摘要：几年前MySQL数据库出现突然的从库延迟故障和CPU爆高时，如何排查具体原因，可能说已在腾讯云的MySQL库里开启了SQL全审计，记录了全部执行的SQL，再通过下面的方法就可以很容易找到原因： 1，实用QPS和TPS高的高效分析方法 但如果没有开通SQL全审计，如何去找原因。当然说可以看慢SQL日志
阅读全文
摘要：记录一下2年前的MySQL大表的归档，当时刚到公司，发现MySQL的业务核心库，超过亿条的有7张表，最大的表有9亿多条，有37张表超过5百万条，部分表行数如下： 在测试的MySQL环境 ： pt-archiver 工具，测试200的dev实例，5800万条数据，纯删除1000万条数据，花费约9分多钟
阅读全文
摘要：记录一下工作上疑难问题解决： 一，方便的页面监控 前几天早上，负责的kettle抽取数据表的任务又报错了，早上看手机有4个未接报警电话，一看是人员表，原来昨天报表系统有个大的查询一直未查询完成，导致truncate这个人员表，无法获取meta元数据锁，后续执行kettle抽取和SQL计算的都报错。为
阅读全文
摘要：缘起 今天早上一到公司，技术支持的小伙就说一个后台报表，计算的任务完成率超过100%，有异常，客户要用，比较急，要解决这个问题。 解决过程 自从接了上任的报表计算，这个就头疼，没办法硬着头皮查什么原因，报表的SQL比较简单，一个查：接受任务数表a, 一个查：完成任务数表b a和b表，都是直接计算的结
阅读全文
摘要：这几天，突然想写写这些年的工作总结，毕业至今快20年的回顾。 想到20年前，在做毕业设计的时候，当时是学的机械工程类专业，因为带毕业设计的老师兼职企业有个门户网站的需求，而我又会用DreamWeaver做点网站设计，带的老师破天荒给个企业做门户网站的毕业设计。 珍惜心：该网站可能此生自己能做唯一一个
阅读全文
摘要：数据抽取平台pydatax实现过程中，有2个关键点： 1、是否能在python3中调用执行datax任务，自己测试了一下可以，代码如下： 这个str1就是配置的shell文件 try: result = os.popen(str1).read() except Exception as e: pri
阅读全文
摘要：缘起一： 公司现有数据仓库，是通过kettle从mysql抽取到目标库，运行多年，主要有以下问题， 1，效率低：kettle抽取行数少 2，容错性差：一个表抽取出错就导致后续计算会出问题， 3，扩展性差： 对多库多表等支持不好 近300张表抽取，再加上计算，每天都算到7点，还有2个巨大的计算要等到1
阅读全文
摘要：早上发现执行的PostgreSQL 存储过程报错，错误如下： 300-value too long for type character varying(100)，一看就是表字段的长度太小，从提示看是，字段是varchar(100)的字段长度不够。看了具体表： 看了表字段，有好多个字段是varcah
阅读全文
摘要：最近突然想起要写下自己在2018年发生的一系列事情，给自己警示和提醒。 2018年上半年的一天晚上，自己突然做了一个梦，梦中有人跟我说："你今年会有灾难，如果度过去就会活到多少多少岁"，梦里听到灾难，我警觉的说，我已经在一个风水师父里请了护身符了，记得我还把护身符给她看。 因为2018年我犯太岁，特
阅读全文
摘要：今天介绍一下另一起入侵事件，这次入侵事件的黑客技术水平明显要高于上次，作为这次入侵事件的发现者，感触颇多，由于已经离开该公司，避免对公司有什么影响，公司名用代号替代。 详细追查过程和相关敏感信息忽略。 B互联网公司，在出现该入侵事件几个月前，公司出现部分客户手机号被盗情况，后续将客户手机号做加密，但
阅读全文
摘要：总结这些年数据库运维，除了数据库优化，审核，高可用，故障处理等这些日常事情外，给我留下感触最深的就是有二起数据库入侵事件，自己亲身经历的黑客攻击拖库事件，一起是事件的追查者，一起是事件的发现者，两个事件已经距离有点长时间，而且已经离开，不会对公司有什么影响，公司名用代号替代。 今天介绍一下其中一起入
阅读全文
摘要：现在主库的MySQL的QPS一直在3K/s左右，想知道其到底执行了那些SQL，或者是那些SQL执行的次数比较多： 腾讯云的后台监控： 开启腾讯云的SQL审计后，下载几分钟SQL日志文件, 下列语句在MySQL建表，如我们下载了6分钟的单实例审计日志： CREATE TABLE `ex` ( `Aff
阅读全文
摘要：最近10多年一直在从事DBA方面的工作，5年多前经常心跳突然很快，一会后心跳就正常，期间也看过中医，中医说是：心悸。 但是没怎么专门治疗，特别是在2015年后，心悸比较厉害，有时突然心跳很快，人就有点受不了，感觉人都不行了，最多时一天有好几次，也查了一下网上的治疗小技巧，试了但是效果不好。 一直到2
阅读全文
摘要：把自己看到的，对IT等系统的领悟，也就是通常说的道，备忘，经常听到一句话：守正出奇 但要能做到这一点，先短时间看清事物本质： 数据库运维核心 可控 运维的核心 提质增效降本 监控核心 可观测 程序核心 开源增效降本 系统架构核心 抽象和前瞻 云计算核心 统一管理控制和调度 社交的核心 找到同类 大数
阅读全文
摘要：最近加字段，突然想起几年前一次大表加字段的事情。 缘起： 公司的订单表和配送单相关表，以前金额字段是：decimal(19,3)类型，正常肯定够用，但是财务有个需求，需要把字段类型从decimal(19,3) 改成decimal(38,10)类型，支持10位小数点。 当BI部门给我提这个需求时，也没
阅读全文
摘要：最近事情比较少，闲下来刚好可以对以前的事情做个总结。 这次总结是10年前的一次数据库优化，和5年前的一次右下腹通持续疼痛的治疗过程。 数据库优化的过程如下： 1、2011年2月--2011年7月数据库性能优化过程 时间有点久，但最深刻的是，出现CPU持续100%的时候，找不到具体原因？ 什么原因？
阅读全文
摘要：研发要在一个ol_poster_sign表加字段，表比较大有400多万条，用gh-ost加字段时，在切换过程中一直报错： 无法完成最后的切换： INFO Magic cut-over table created INFO Locking `test`.`ol_poster_sign`, `test`
阅读全文
浙公网安备 33010602011771号