摘要:前言 在生产环境中,为了满足安全性,高可用性以及高并发等方面的需求,基本上采用的MySQL数据库架构都是MHA、MGR等,最低也得是一主一从的架构,搭配自动切换脚本,实现故障自动切换。上述架构都是通过集群主从复制(Master-Slave)的方式来同步数据。MySQL集群简单架构图: 说到主从同步,
阅读全文
摘要:0 问题描述 在MySQL中我们通常会采用limit来进行翻页查询,比如limit(0,10)表示列出第一页的10条数据,limit(10,10)表示列出第二页。但是,当limit遇到order by的时候,可能会出现翻到第二页的时候,竟然又出现了第一页的记录。具体如下: SELECT `post_
阅读全文
摘要:想和大家聊聊 InnoDB 中的锁机制,那么不可避免的要涉及到 MySQL 的日志系统,binlog、redo log、undo log 等,看到有小伙伴总结的这三个日志还不错,赶紧拿来和各位小伙伴分享。 日志是 mysql 数据库的重要组成部分,记录着数据库运行期间各种状态信息。mysql日志主要
阅读全文
摘要:一套正常运行的系统是一个复杂的系统工程,牵涉到主机、操作系统、网络、数据库、中间件、底层存储,还有系统的核心:应用。任何层面的故障都可能造成系统的不可用。 今天聊一聊数据库层面的巡检问题。 数据库巡检的目的:保障数据库的正常运行,保证数据的安全性,完整性、可靠性。 这篇文章把我的这些个人的经验和想法
阅读全文
摘要:如果 10 万条数据进行批量更新该怎么操作呢?我们一起来看看具体可以怎么做。mysql 批量更新如果一条条去更新效率是相当的慢, 循环一条一条的更新记录,一条记录update一次,这样性能很差,也很容易造成阻塞。mysql 批量更新共有以下四种办法 1、.replace into 批量更新 repl
阅读全文
摘要:背景: 我们的一些业务测试系统,数据库一般也是由开发同事自行维护,所以不可避免会有一些问题,经常会有开发同事火急火燎的打电话给我们,如果语气急切,态度恭谨,一般就是误操作数据了(八九不离十)。 最近我们就遇到了一起误更新数据的事件。 由于update SQL编写问题,开发同事将整个表的一个字段进行了
阅读全文
摘要:先说大致的结论(完整结论在文末): 在语义相同,有索引的情况下:group by和distinct都能使用索引,效率相同。 在语义相同,无索引的情况下:distinct效率高于group by。原因是distinct 和 group by都会进行分组操作,但group by可能会进行排序,触发fil
阅读全文
摘要:前言 最近,有开发同事联系我反馈一个问题,说开发环境出现了数据丢失的情况,想让DBA帮忙排查一下是不是数据库的问题。我心想大概率是程序bug,不太可能是数据库的问题。不过还是要排查一下才会心安,毕竟对于一个DBA而言,数据丢失无疑是最令人紧张的一件事情。 问题排查 开始进行排查之前,我先确认了如下问
阅读全文
摘要:思考一个问题,联合索引在B+树中是怎么存储的? 比如在(a,b)字段上面创建联合索引,存储结构类似下面这样: 数据都是先按a字段排序,a字段的值相等时再按b字段排序。 a字段的值是全局有序的,b字段的值是全局无序的,只有在a字段的值相等时才呈现出局部有序。 下面做几道联合索引的经典面试题。 第一题:
阅读全文
摘要:一、背景 本文主要测试MySQL执行update语句时,针对与原数据(即未修改)相同的update语句会在MySQL内部重新执行吗? 二、测试环境 MySQL5.7.25 Centos 7.4 三、binlog_format为ROW 1、参数 2、测试步骤 session1 session2 ses
阅读全文
摘要:目录 谁在消耗cpu?祸首是谁? 用户 IO等待 产生影响 如何减少CPU消耗? 减少等待 减少计算 升级cpu 谁在消耗CPU? 用户+系统+IO等待+软硬中断+空闲 祸首是谁? 用户 用户空间CPU消耗,各种逻辑运算 正在进行大量tps函数/排序/类型转化/逻辑IO访问… 用户空间消耗大量cpu
阅读全文
摘要:毫不夸张的说咱们后端工程师,无论在哪家公司,呆在哪个团队,做哪个系统,遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论,能让大家快速、准确的去选择出合适的优化方案,我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。从解决问题的角度出发,我们得先了解到问题的原因
阅读全文
摘要:这是一条标准的查询语句: 这是我们实际上SQL执行顺序: from 子句组装来自不同数据源的数据; where 子句基于指定的条件对记录行进行筛选; group by 子句将数据划分为多个分组; 使用聚集函数进行计算; 使用 having 子句筛选分组; 计算所有的表达式; select 的字段;
阅读全文
摘要:前言: 数据库系统正式上线前,压测是必不可少的一步。数据库系统能承载多少并发,DBA要做到心中有数。 基本概念: TPS/QPS:衡量吞吐量。(TPS:每秒事务处理量(Transaction Per Second)、每秒查询率QPS(Query Per Second)是对一个特定的查询服务器在规定时
阅读全文
摘要:起因 最近好几次有开发同学在钉钉上问我,比如下图: 问题归纳起来就是:在MySQL里面update一条记录,语法都正确的,但记录并没有被更新… 结论 小结:在一条UPDATE语句中,如果要更新多个字段,字段间不能使用“AND”,而应该用逗号分隔。 现象 刚遇到这个问题的时候,我拿到这条语句直接在测试
阅读全文
摘要:MySQL 主从复制是面试中不可避开的重要一环,里面的知识点虽然基础,但是能回答全的同学不多,今天我们再来老生常谈一下。 本文全文内容如下。 1. MySQL 主从 1.1 什么是 MySQL 主从 ? MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MyS
阅读全文
摘要:一、场景还原 当时同事A在线上代码中使用了Mybatis-plus的如下方法 com.baomidou.mybatisplus.extension.service.IServicesaveOrUpdate(T, com.baomidou.mybatisplus.core.conditions.Wra
阅读全文
摘要:想要优化count(*),首先得了解清楚,MySQL是如何处理count(*)的?在MySQL不同版本、不同存储引擎中,对于count(*)的处理方式,是存在差异的。MyISAM使用过MyISAM存储引擎的DBA,应该都有这感觉:不管表有多大,count(*)总是能够秒出结果。这是因为,MyISAM
阅读全文
摘要:什么是MVCC:MVCC(Multi Version Concurrency Control的简称),代表多版本并发控制。与MVCC相对的,是基于锁的并发控制,Lock-Based Concurrency Control)。MVCC最大的优势:读不加锁,读写不冲突。在读多写少的OLTP应用中,读写不
阅读全文
摘要:本文讲述如何查找数据库里重复的行。这是初学者十分普遍遇到的问题。方法也很简单。这个问题还可以有其他演变,例如,如何查找“两字段重复的行”(#mysql IRC 频道问到的问题) 如何查找重复行 第一步是定义什么样的行才是重复行。多数情况下很简单:它们某一列具有相同的值。本文采用这一定义,或许你对“重
阅读全文