12 2022 档案
摘要：背景： 审核密码是否符合规范，如大小写、数字、特殊字符等 安装插件： 1、在线启动 INSTALL PLUGIN validate_password SONAME 'validate_password.so'; 2、写入配置文件 plugin-load=validate_password.so va
阅读全文
摘要：mysql> begin; Query OK, 0 rows affected (0.00 sec) mysql> select * from t1; + + + + + + | id | name | age | num | num01 | + + + + + + | 1 | uu | NULL
阅读全文
摘要：1、概述 MySQL权限系统的主要功能是证实连接到一台给定主机的用户，并且赋予该用户在数据库上的各种权限，一般生产环境中 的程序账号只需要SELECT、INSERT、UPDATE和DELETE权限即可。 MySQL根据访问控制列表（ACL）对所有连接、查询和用户尝试执行的其他操作进行安全管理。MyS
阅读全文
摘要：mysql自带的压力测试工具mysqlslap，详情如下： 重要参数： --concurrency代表并发数量，多个可以用逗号隔开，当然你也可以用自己的分隔符隔开，这个时候要用到--delimiter开关。 --engines代表要测试的引擎，可以有多个，用分隔符隔开。 --iterations代表
阅读全文
摘要：1）RDB默认方式: AOF方式 : 3） 对比 rdb的优点：高性能的持久化实现 创建一个子进程来执行持久化,先将数据写入临时文件,持久化过程结束后,再用这个临时文件替换上次持久化的文件;过程中主进程不做任何IO操作；rdb的缺点：意外宕机时,丢失最后一次持久化的所有数据aof的优点：可以灵活设置
阅读全文
摘要：a)、表锁信息 mysql> show global status like 'table_lock%'; + + + | Variable_name | Value | + + + | Table_locks_immediate | 323179 | | Table_locks_waited |
阅读全文
摘要：Clone Plugin简介 8.0.17引入clone plugin，允许从本地或者远程的MySQL中克隆数据克隆的数据包括schema、表、表空间、元数据等等，克隆的数据是一个完整的数据目录，插件可以使用克隆的目录配置和恢复一个MySQL Server，克隆分为本地克隆和远程克隆。 本地克隆：将
阅读全文
摘要：复制简介 MySQL早期只有单线程复制，即IO线程接收master的binlog，并写入本地的relay log中，SQL线程负责从relay log中服务event并进行apply。当主库的写入压力较大时，备库的IO线程一般不会产生延迟，因为写relay log是顺序写；但SQL线程的重放速度经常
阅读全文
摘要：一、简介 数据字典(Data Dictionary)，存储数据库的元数据信息，如database、table、index、column等。由于MySQL数据库是插件式数据库，分为SERVER层和存储引擎层，存储引擎层可以有多个不同的引擎，SERVER层只有一个，所以只能引擎层配合SERVER层；如早
阅读全文
摘要：8.0之前的undo tablespaces管理 InnoDB的undo log最主要是存储回滚数据，是实现MVCC的重要组件；innodb的一个rollback segment分为1024个undo log segment，即最大支持1024个并发事务；后来innodb版本进行了升级，支持了128
阅读全文
摘要：MySQL8.0以前的DDL DDL（Data Definition Language）定义了数据在数据库中的结构、关系以及权限等，比如CREATE、ALTER、DROP、GRANT等等。在MySQL 8.0之前的版本中，由于架构的原因，为了支持不同的存储引擎，MySQL在server层使用统一的.
阅读全文
摘要：1、安装iotop、sysbench(模拟高并发)安装步骤省略2、使用sysbench模拟并发写入sysbench --mysql-host=localhost --mysql-port=3306 --mysql-user=root --mysql-password=xxxxxx --mysql-s
阅读全文
摘要：一、REDO概述 为了弥补CPU与磁盘之间读写速度的巨大差异，MySQL采用了Buffer Pool来提高数据库的读写效率；同时为了保证数据持久化，大部分的事务数据库都采用WAL（预写日志），即当事务提交时，必须先确保将事务所有日志写入重做日志文件（redo log）， 称之为force log a
阅读全文
摘要：1、背景：DBA或开发人员，有时会误删或者误更新数据，如果是线上环境并且影响较大，就需要能快速回滚。传统恢复方法是利用备份重搭实例，再应用去除错误sql后的binlog来恢复数据。此法费时费力，甚至需要停机维护，并不适合快速回滚。也有团队利用LVM快照来缩短恢复时间，但快照的缺点是会影响mysql的
阅读全文
摘要：1、背景： 新疆分布式数据库crm数据导入，表做分片，导入之后表数据量比原表数据量多。 导入方式：load 2、排查过程 以表tf_bhb_ocs_batdeal_2016测试排查： 1）表结构： CREATE TABLE `tf_bhb_ocs_batdeal_2016` ( `DEAL_ID`
阅读全文
摘要：使用mysql federated 引擎构建 MySQL 分布式数据库访问层 前言：随着应用复杂度的增加，数据库不断细化切分，导致应用程序中数据库应用就得复杂，凌乱。绝大部分程序人员可能都遇到这种情况，应用程序中需要连接多台数据库服务器，进行相应的操作。随着时间积累，太多的数据库服务器的连接逻辑出现
阅读全文
摘要：首先Java源代码文件(.java后缀)会被Java编译器编译为字节码文件(.class后缀)，然后由JVM中的类加载器加载各个类的字节码文件，加载完毕之后，交由JVM执行引擎执行。在整个程序执行过程中，JVM会用一段空间来存储程序执行期间需要用到的数据和相关信息，这段空间一般被称作为Runtime
阅读全文
摘要：一、简介 xtrabackup 是percona公司开源的MySQL innodb物理备份工具，支持在线热备（备份时不影响数据读写），在工具在业内生产上被大量使用，本次使用xtrabackup 备份的日志和数据库general 日志来对备份的流程和原理进行解读。 二、xtrabackup备份原理：
阅读全文
摘要：背景 错误信息：Lock wait timeout exceeded; try restarting transaction，我们常称为锁等待超时。 根据类型一般分为两类： 1、 行锁等待超时；最常见的场景，因为事务等待行锁超时。 2、 元数据锁等待超时；常见在DDL操作期间（此次不涉及）。 行锁等
阅读全文
摘要：背景： 鉴于****项目中有使用Otter同步数据，同时重庆资源池ESOP也有同样的需求，之前采用的是Federated引擎来实现，但是爱可生RDS不支持该引擎，必须采用其他的工具来实现该需求，记录一下学习OTTER的过程。 一、 otter简介 基于数据库增量日志解析，准实时同步到本机房或异地机房
阅读全文
摘要：针对****生产环境上出现过一次关于MDL锁导致DDL等待锁失败而出现连接表失败，在本地进行MDL锁复现。 初始化环境，有一个test01.t1表，进行模拟MDL锁等待 id 14(A) id 15(B) id 16(C) id 17(D) id 18(E) begin； begin； alter
阅读全文
摘要：MMM（Master-Master replication manager for MySQL）是一套支持双主故障切换和双主日常管理的脚本程序。MMM使用Perl语言开发，主要用来监控和管理MySQL Master-Master（双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入
阅读全文
摘要：1、在做****巡检时，发现生产主机xxxx上的临时独立表空间ibtmp1暴涨至200G，借此梳理关于临时表空间相关的点 2、ibtmp1暴涨如何处理？ 2.1 简单说明 ibtmp1是非压缩的innodb临时表的独立表空间,通过innodb_temp_data_file_path参数指定文件的路径
阅读全文
摘要：根据****热计费项目生产环境上，ibd文件异常大，借机梳理表碎片清理和表空间收缩的知识点 1、碎片清理的好处 降低访问表时的IO,提高mysql性能,释放表空间降低磁盘空间使用率 OPTIMIZE TABLE table_name;对myisam表有用,对innodb也有用，系统会自动把它转ALT
阅读全文
摘要：一、各种树形结构 1、二叉树:允许每个节点下最多有两个子节点 二叉树在数据库中不使用的原因是： 1)、树长歪了 》树的倾斜问题 查询的代价是不可控的，主要原因是树的高度不可控； 2)、二叉树限定每个节点下最多只有两个节点，能存放的数据是有限的，当数据量很大时，二叉树必然具有很大的高度； 2、B Tr
阅读全文
摘要：InnoDB引擎主要包含几个重要部分： 1、内存池 1.1 缓冲池 InnoDB将记录按页的形式进行管理，对于页的修改先修改缓冲池中的页，后以一定频率进行刷新到磁盘中（checkpoint）。在数据库的页读取操作时，将也缓存到缓冲池中，下一次如读取相同的页，则无需从磁盘中加载。缓存池大小通过inno
阅读全文
摘要：背景： 测试MySQL磁盘临时表是否会占用文件系统的cache？ 环境准备： 1、使用sysbech创建2张表，每张20W数据。 测试： 1、记录当前cache内的文件、记录内存的值，记得tmp状态值，重启mysql，让ibtmp1文件重置为12M a、内存值 b、cache内的文件 c、tmp当前
阅读全文
摘要：roxySQL的基本简介： ProxySQL是用C++语言开发的，虽然也是一个轻量级产品，但性能很好(据测试，能处理千亿级的数据)，功能也足够，能满足中间件所需的绝大多数功能，可以更好更好的支持master slave\MGR\PXC等高可用集群，常见功能分库分表、SQL审计、负载均衡、主从切换，以
阅读全文
摘要：简介： Show Profile是mysql提供的可以用来分析当前会话中sql语句执行的资源消耗情况的工具，可用于sql调优的测量。默认情况下处于关闭状态，并保存最近15次的运行结果。 1、开启show profile功能，默认该功能是关闭的，使用前需开启 mysql> show variables
阅读全文
摘要：一、为什么使用MySQL线程池 1、减少线程重复创建与销毁部分的开销，提高性能 线程池技术通过预先创建一定数量的线程，在监听到有新的请求时，线程池直接从现有的线程中分配一个线程来提供服务，服务结束后这个线程不会直接销毁，而是又去处理其他的请求。这样就避免了线程和内存对象频繁创建和销毁，减少了上下文切
阅读全文
摘要：背景 线下数据库，成天有人要求运维执行这sql那sql的，又苦逼又容易背锅，问了下公司的DBA大神，推荐了see审计平台，执行sql有审计记录，留痕留痕留痕，重要的事情说三遍，即使是线下环境，谨防有人删库跑路找不到人，可以解决运维一大痛点。 审计平台介绍 数据库审计平台作用 《对于开发人员》提交代码
阅读全文
摘要：archery SQL审核平台 项目位置：https://github.com/hhyo/archery 背景 SQL审核是对MySQL语句写法的统一化，标准化，避免因为SQL的不规范、语法错误等导致出现误删、误更新数据、数据库性能下降等问题。早期的人工审核，针对标准这个问题其实是很吃力的，标准越多
阅读全文
摘要：1、背景 Orchestrator（orch）：go编写的MySQL高可用性和复制拓扑管理工具，支持复制拓扑结构的调整，自动故障转移和手动主从切换等。后端数据库用MySQL或SQLite存储元数据，并提供Web界面展示MySQL复制的拓扑关系及状态，通过Web可更改MySQL实例的复制关系和部分配置
阅读全文
摘要：一、GTID概念介绍 GTID是mysql5.6版本出来的新特性 GTID即全局事务ID (global transaction identifier), 其保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的ID。mysql主从结构在一主一从情况下对于GTID来说就没有优势了，而对于2台主以
阅读全文
摘要：1、orchestrator如何去发现mysql实例 这个涉及到两个参数：HostnameResolveMethod和MySQLHostnameResolveMethod HostnameResolveMethod的值有三个选项： "cname":通过cname做域名解析(resolve hostn
阅读全文
摘要：一、什么是Xenon？ Xenon [ˈziːnɒn] (https://github.com/radondb/xenon) 是一款由 RadonDB 开发团队研发并开源的新一代 MySQL 集群高可用工具。基于 Raft 协议进行无中心化选主，实现主从秒级切换；基于 Semi-Sync 机制，保障
阅读全文
摘要：文章目录 Otter⽬前⽀持了什么 整体架构 环境准备 下载安装 修改配置⽂件运⾏ Manager Node 配置⼀个同步任务 添加canal 添加数据源 添加数据表配置 添加⼀个channel 配置⼀个pipeline 添加映射关系 启⽤同步 避坑指南 Otter⽬前⽀持了什么 单向同步， mys
阅读全文
摘要：1、MySQL 8.0 clone plugin简介 1） 克隆插件允许从本地或远程的MySQL Server中克隆数据。克隆的数据是存储在InnoDB中的schema（database）、table（表）、tablespaces（表空间）和data dictionary metadata（数据字典
阅读全文
摘要：1、 广电告警背景如下： 主机：xxxx:3306,MySQL 运行的Thread大于30,请关注,2021-07-15 15:30:002、猜测是因为业务量造成？3、mysql thread running 的理解 每秒查询次数（Queries per second，QPS）可以衡量数据库的吞吐量
阅读全文
摘要：OAR (SQL Optimizer And Rewriter) 是一个对 SQL 进行优化和改写的自动化工具。 由小米人工智能与云平台的数据库团队开发与维护 一、简介 1、功能特点 跨平台支持（支持 Linux, Mac 环境，Windows 环境理论上也支持，不过未全面测试） 目前只支持 MyS
阅读全文
摘要：一、场景案例 假设目前有一后端接口GET /userinfo/100，实际数据库内也只有最大ID为100的用户。 对于请求参数100以内当然属于是合法请求，但对于10000这种来说明显就异常的请求一样会进入数据库中进行查询，白白消耗DB资源，这就是——缓存穿透。 二、缓存知识 为了方便阅读此处直接上
阅读全文
摘要：一 背景 死锁，其实是一个很有意思也很有挑战的技术问题，大概每个DBA和部分开发同学都会在工作过程中遇见过。本次分享的死锁案例更新不存在的记录加上 X GAP lock 和 insert 的意向锁冲突。希望能够对想了解死锁的朋友有所帮助。 二 案例分析 2.1 业务逻辑 业务逻辑: 业务需要并发不同
阅读全文
摘要：1、问题现象 开发反馈某业务持续性报锁等待超时，相关错误信息如下： Lock wait timeout exceeded; try restarting transaction 为了能精确定位问题，继续询问开发有没有锁等待超时相关SQL，开发又给了相关报错SQL： INSERT INTO <TABL
阅读全文
摘要：本文记录个人使用MySQL插入大数据总结较实用的方案，通过对常用插入大数据的4种方式进行测试，即for循环单条、拼接SQL、批量插入saveBatch()、循环 + 开启批处理模式，得出比较实用的方案心得。 一、前言 最近趁空闲之余，在对MySQL数据库进行插入数据测试，对于如何快速插入数据的操作无
阅读全文
摘要：一.问题描述 拷贝一个大表的表数据的时候，等待时间太久，就在前台通过CTRL+C的方式停掉了 通过show processlist查找到对应的进程，然后进行kill，结果kill完了，依旧在进程列表里，只是被标记为killed 二.解决方案 查看innodb的事务表，发现刚才kill的语句正在进行回
阅读全文
摘要：在应用系统上云迁移的时候经常会遇到中间件的数据迁移，今天就和大家介绍一下zookeeper的数据如何迁移与恢复。 第一步：从原系统环境zookeeper服务器的数据目录下复制最新的日志和快照文件。 先去zookeeper的配置文件中找到data目录存放路径： cd /usr/local/zookee
阅读全文
摘要：1、背景 多个业务连接异常，navicat连接数据库不稳定，连接进入数据库后也会出现卡死的，连接失败的报错 2、问题分析 2.1 问题描述： navicat、服务器中连接数据库均复现业务报告的问题，查看后端mysql库日志，mysql主库在连续地故障重启。数据库使用的是主备模式，mysql切换到备库
阅读全文
摘要：背景：前期安全漏扫后，1+N环境中部分MySQL8.0数据库由低版本通过upgrade方式升级到8.0.29版本，后又升级到8.0.30版本。此版本的upgrade升级方式，在执行 alter table add colmun 操作时有一定几率会触发MySQL内部BUG，导致数据库崩溃。注意：MyS
阅读全文
