随笔分类 - A-疑难解决
原创心得精华文章
摘要：缘起： 若干年前，刚到一家3C类的电商公司做DBA，到公司没几天，公司的CEO和研发总监，说现在要做个事情： 把IDC的数据库的数据，要同步一份到仓库，因单量大，仓库经常爆仓，仓库网络不好时，可以直接用同步的数据 记得当时CEO还特意，弄个讲座讲了公司如何处理单量爆仓 第一次做DBA，第一个月只是有
阅读全文
摘要：《道德经》：万物之始，大道至简，衍化至繁 稻盛和夫：真正的聪明人，善于把复杂事情简单化，至简也至难 稻盛和夫：马云，任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作：1，审核SQL 2，执行SQL 3，优化SQL 4，升级服务器 5，配置各种高可用 …… ？ 在DBA行业做了比
阅读全文
摘要：公司核心主库，在我来公司时是1主5从库（腾讯云RDS），外加7个自建级联从库。 从2020年2月到2021年8月优化总结： 1, 7个自建多级从库，从以前的中转同步改成从一级从库同步，废弃了5个从库实例，还有1个给大数据用，另外一个做备用 2，数据库容量控制， 期间清理出400多G空间的表数据 3，
阅读全文
摘要：下列优化的SQL案例，区别于平常加SQL索引的方法优化，大部分都是通过改写SQL语句方法优化，都是日常优化线上慢SQL的实际案例，有比较好的代表性（思路和方法），也是对自己这些年来做SQL优化的总结，对后面优化SQL有很好的提示和借鉴，案例会持续更新中。 说明： 最近优化慢SQL，执行计划错误和OR
阅读全文
摘要：说明： 结合去年和今年的SQL优化，数据归档的实战经验，部分无法优化的SQL，提供一种优化思路：利用主键优化SQL。 案例1： update ter_cc set tmk_tongji_id=set_tmk_id where set_tmk_id!=0 and tmk_tongji_id !=set
阅读全文
摘要：前言： 该文章将会介绍以下： 1，快速分析SQL日志的几种方法 2，使用mysql的全文索引快速分析少量SQL审计 3，准确快速分析4亿多条审计SQL日志（过程和最终解决方案） 公司核心库拆库拆表，对表和账号分析，大量系统连接，1主13个从库，几十个账号，后来都开通了全SQL审计，14个实例的审计日
阅读全文
摘要：记录一下这些年做DBA工作上遇到的各种数据库故障： 1，每次查询的数据要有限制 2013年1月 产品独立数据库，由于多条SQL每次查询数据超过几千条，有些超过10万条数据未分页，造成应用服务器CPU有时持续100%。 2，禁止循环调用SQL 2011年5月 程序调用Sys_User查询，每分钟执行超
阅读全文
摘要：公司核心交易数据库，使用SQL 2012 AlWaysON的1主4从，有2台（8.14，8.15）从库服务器，已经使用3年多，过保替换，新买的2台服务器已经安装好，一开始方案如下： 服务器（8.14）替换方案： 1， 需提前修改程序连接8.14的配置和DBMS，改成8.15服务器并重启相关服务 2，
阅读全文
摘要：今天介绍一下从业数据库dba这么多年，前段时间碰到的奇葩事情，说之前，提2个问题： 1，见到单个数据库最多有多少张业务表 2，一个表有30多个字段，表里就有一条数据，写一个查询就这一个表的sql，不关联其他表，不要用WAITFOR DELAY 等关键字，写一个执行查询要20秒以上的sql 以前我也从
阅读全文
摘要：目前公司有一套核心交易数据库配置了AlWaysON，SQL 2012版本， 1主4从， 其从库(8,14, 8.15) 这2台只读的从数据库服务器， 后台程序和wms等很多程序，都是直接配置IP连接这个2个机器，而且这2台机器已经过保，如果其中一天机器出现故障，不能使用，怎么处理？ 怎么解决？ 先谈
阅读全文
摘要：这几天，公司测试压测从早上5:00--5:20 压测4万订单，测试活动期间，数据库的性能怎样， 开发早上起来发现，最近几天，更新库存的时间变慢的，是从6月10号开始的，就问从10号有做变更没有，我这边查数据库监控没问题！ 但是在CAT的监控上，更新库存需要6秒以上： 后来和开发人员沟通，以前更新库存
阅读全文
摘要：早上测试对性能压测，发现取sequence服务大量超时报错，查询线上的监控SQL： 大量这个查询，我在DeviceID和Isdelete上建有复合索引，应该很快，而且我测试了一下，取值，执行效率很高，不会出现慢的情况。 但是通过SQL Profile工具监控，发现这个sql，执行的CPU和IO都是很
阅读全文
摘要：从某个时间开始，Cat监控到的数据发现，正式环境的Insert 表很慢，数据库用了AlwasON高可用(1个备库做了实时同步），特别是每天早上9:00--11:00,做活动的时候，下单的insert需要1秒，有些有3秒的，而且是大量出现 很多简单的insert也有。从8月份就一直就有问题，严重影响业
阅读全文
摘要：1 目前Rawlog表的问题 region数量庞大，空region 率大 共有12791个region 11409空region, 比例为89.19% 剩余的region大小也是极度不均衡，最大的region 287G, <1m的region有129个 读写不均衡 现有的rowkey设计，简单来说是
阅读全文
摘要：开始暴露问题 2011年2月下旬的一天早上，昨天更新的系统，早上发现数据库的服务器CPU达到100%，而且持续的时间很长，不得回到昨天更新前的版本，但系统还是有较长时间达到100%的情况，问题没有解决，从这正式开始优化线上数据库性能。 第一阶段优化 分析问题： 一开始老是想找出问题的原因，找了3天还
阅读全文
摘要：下车扫描，业务部门一直反应慢，不稳定，程序不是报黄页就是运行慢，严重影响师傅使用，估计师傅心里一直"很想我们"。 第一次优化 和同事一起看了程序业务逻辑，觉得应该将整个扫描逻辑过程放到存储过程，一可以避免程序在交互中的影响，二可以提高性能。 修改完后，由于需要读取Sequence，在存储过程中需要运
阅读全文
摘要：在查询优化中，有一个重要的概念：空间换取查询时间 这一理论最好的应用就是：数据仓库（OLAP）：在海量数据库里（一般是TB级）分析数据，通过对数据的ETL和计算汇总，得到有用的数据，并通过不同维度查看统计数据（一般比较少），实现上钻和下钻分析数据。 现在讨论一下在OLTP系统中空间换取查询时间常用的
阅读全文
摘要：前段时间提到的"SQL Server 2005 死锁解决探索"，死锁严重，平均每天会发生一次死锁，在解决和处理SQL server2005死锁中查了很多资料和想了很多办法， 对为何出现死锁和怎样较少死锁有了进一步认识，在这里和大家一起分享： SQL Server 锁类型 在数据库中主要存在两种锁:
阅读全文
摘要：前段时间，公司的同事，处理一个业务要求 ，说比较复杂，不想通过语句一个一个机构去递归查询配置信息，如过本机构没有，则去取其上一级机构的配置信息，直到最高层，希望通过一条sql查询出信息： Code highlighting produced by Actipro CodeHighlighter (f
阅读全文
摘要：今天，一个同事说有个查询比较复杂，需求是：查询机构下的用户数（包括下面全部机构用户），同时还要统计下属机构的用户数。 业务要求：要统计总公司下的用户，还要统计总公司下属的全部机构（技术部，分公司等）的用户数， 同时还要统计技术部，这时统计技术部的用户，还可能包含技术一部，技术二部，技术三部，可能技术
阅读全文
