11 2020 档案
摘要：二、案例分享二 2.1 问题描述 主库执行insert select 批量写入操作，主从复制通过row模式下转换为批量的insert大事务操作，导致只读实例CPU资源以及延迟上涨 16:55～17:07 2.2 处理流程 1、接收到只读实例备库延迟告警后，我们观察到只读实例的CPU资源有有明显上涨，
阅读全文
摘要：一、案例分享 1.1 问题描述 大查询长时间执行无法释放DML读锁，后续同步主库的DDL操作获取DML写锁资源被阻塞等待，导致后续同步主库的操作堆积，主从延迟增长严重。从同步延迟的监控来看，延迟从17:11开始，17:51:59进行kill大查询操作，直到17:53建议业务方将大查询kill掉后才结
阅读全文
摘要：一、空间碎片化严重案例分享 1.1 问题描述 实例磁盘空间近1个月上涨趋势明显，主要是个别日志表存储较大且部分表存在空间碎片化的现象。 1.2 处理流程 1、通过日常巡检以及监控发现某实例磁盘空间近1月上涨趋势明显 2、在询问业务方是否为正常的业务增长外，查看该实例top表空间的表，排查是否存在异常
阅读全文
摘要：使用explain关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的，分析你的查询语句或是表结构的性能瓶颈。 explain执行计划包含的信息 每列的内容 列 含义 id 执行计划的id标志 select_type select的类型 table 输出记录的表 pa
阅读全文
摘要：1、索引是什么 1.1索引简介 索引是表的目录，是数据库中专门用于帮助用户快速查询数据的一种数据结构。类似于字典中的目录，查找字典内容时可以根据目录查找到数据的存放位置，以及快速定位查询数据。对于索引，会保存在额外的文件中。 1.2主要注意的地方： (1).索引可以提高查询速度，会减慢写入速度，索引
阅读全文
摘要：MySQL 事务主要用于处理操作量大，复杂度高的数据。比如开单，需要添加给订单表增加记录，还需要增加订单的各种相关明细，操作复杂度高，这些操作语句需要构成一个事务。在 MySQL 命令行的默认设置下，事务都是自动提交的，即执行 SQL 语句后就会马上执行 COMMIT 操作。因此要显式地开启一个事务
阅读全文
摘要：演员请就位 在最近的一档综艺节目《演员请就位》中，李诚儒和郭敬明的“掰头”赚足了网友们的关注，事件中心的何昶希，因演技受到质疑而引发导演间争议。更是引起了其他选手的不满，提出“what？他以为他是在选秀节目吗？”这样的疑问。 随着事件在网上的发酵升温，网友们将关注点从节目本身转移到何昶希未来发展上，
阅读全文
摘要：客户背景 客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。 部分监控如下图： 1) 集群架构如下： 集群节点配置：8数据节点（16C64G）；3主节点（8C
阅读全文
摘要：Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主
阅读全文
