12 2018 档案

innodb_file_per_table - 转换为InnoDB
摘要：共享InnoDB / var / lib / mysql / ibdata1存储的问题InnoDB表当前将数据和索引存储到共享表空间（/ var / lib / mysql / ibdata1）。由于共享表空间，一个InnoDB表的数据损坏可能导致MySQL无法在整个计算机上启动。修复InnoDB损 阅读全文
posted @ 2018-12-31 21:47 海东潮 阅读(1646) 评论(0) 推荐(0) 编辑
MySQL5.6锁阻塞分析
摘要：日常维护中，经常会碰到线程被阻塞，导致数据库响应非常慢，下面就看看如何获取是哪个线程导致了阻塞的。 blog地址：http://blog.csdn.net/hw_libo/article/details/39080809 1. 环境说明RHEL 6.4 x86_64 + MySQL 5.6.19事务 阅读全文
posted @ 2018-12-31 14:58 海东潮 阅读(886) 评论(0) 推荐(0) 编辑
Mysql binlog 无法删除(purge命令无法删除)
摘要：1.版本 1)操作系统 cat /etc/issueCentOS release 6.6 (Final)Kernel \r on an \m cat /proc/versionLinux version 2.6.32-504.el6.x86_64 (mockbuild@c6b9.bsys.dev.c 阅读全文
posted @ 2018-12-30 22:57 海东潮 阅读(1388) 评论(0) 推荐(0) 编辑
【mysql】关于checkpoint机制
摘要：一、简介 思考一下这个场景：如果重做日志可以无限地增大，同时缓冲池也足够大，那么是不需要将缓冲池中页的新版本刷新回磁盘。因为当发生宕机时，完全可以通过重做日志来恢复整个数据库系统中的数据到宕机发生的时刻。 但是这需要两个前提条件：1、缓冲池可以缓存数据库中所有的数据；2、重做日志可以无限增大 因此C 阅读全文
posted @ 2018-12-30 22:41 海东潮 阅读(506) 评论(0) 推荐(0) 编辑
show engine innodb status解读
摘要：注：以下内容为根据《高性能mysql第三版》和《mysql技术内幕innodb存储引擎》的innodb status部分的个人理解，如果有错误，还望指正！！ innodb存储引擎在show engine innodb status（老版本对应的是show innodb status）输出中，显示除了 阅读全文
posted @ 2018-12-30 22:40 海东潮 阅读(361) 评论(0) 推荐(0) 编辑
INNODB insert buffer 简单分析
摘要：在mysql5.1 之前称为Insert Buffer， 优化2级非唯一索引上插入操作的读IO， 在5.5之后改名为Change Buffer， 功能也扩展为2级非唯一索引上的插入、删除、更新、purge的读IO优化。 change buffer的核心思想，当数据库需要对2级缓存进行修改时，先不从外 阅读全文
posted @ 2018-12-30 22:24 海东潮 阅读(498) 评论(0) 推荐(0) 编辑
MySQL5.7多实例自动化部署脚本
摘要：一、安装说明 mysql5.7.10_onekey_install.sh自动化部署脚本支持mysql5.7.10初始化安装，多实例创建，且使用经过优化后的my.cnf配置文件和mysql.server启动脚本，该SHELL脚本在CentOS6.5_x86_64操作系统测试通过。部署示意图如下： 1、 阅读全文
posted @ 2018-12-30 22:14 海东潮 阅读(463) 评论(0) 推荐(0) 编辑
mysql processlist 线程状态
摘要：Analyzing 线程是对MyISAM 表的统计信息做分析(例如, ANALYZE TABLE )。 checking permissions 线程是检查服务器是否具有所需的权限来执行该语句。 Checking table 线程正在执行表检查操作。 cleaning up 线程处理一个命令,并正准 阅读全文
posted @ 2018-12-30 19:05 海东潮 阅读(550) 评论(0) 推荐(0) 编辑
github精选awsome
摘要：https://www.githubs.cn/awesome 阅读全文
posted @ 2018-12-30 15:18 海东潮 阅读(266) 评论(0) 推荐(0) 编辑
MySQL案例-mysqld got signal 11
摘要：背景:MySQL-5.7.12, debian 8核16G虚拟机, 业务方反馈在某一个时间点, 出现了大量的数据库报错, 之后恢复正常; 场景:开发查看日志后, 发现在某个时间点, 应用断开了所有与数据库的连接, 几秒钟以后就恢复了;同时监控系统的内存使用率出现了异常的骤降; 3min之后收到了报警 阅读全文
posted @ 2018-12-30 11:07 海东潮 阅读(6869) 评论(0) 推荐(0) 编辑
【阿里巴巴：高并发的背后】数据库规范
摘要：2018.05.22 22:57 2117浏览 2018.05.22 22:57 2117浏览 2018.05.22 22:57 2117浏览 (一) 建表规约 【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsigned tinyint（ 1表示是，0表示否）。说明：任 阅读全文
posted @ 2018-12-27 12:32 海东潮 阅读(487) 评论(0) 推荐(0) 编辑
MySQL 数据库规范--调优篇(终结篇)
摘要：MySQL 数据库规范--调优篇(终结篇) 2017.09.01 10:53 3367浏览 MySQL 数据库规范--调优篇(终结篇) 2017.09.01 10:53 3367浏览 2017.09.01 10:53 3367浏览 前言 这篇是MySQL 数据库规范的最后一篇--调优篇，旨在提供我们 阅读全文
posted @ 2018-12-27 12:20 海东潮 阅读(367) 评论(0) 推荐(0) 编辑
percona pt toolkit 总结
摘要：## ##pt-osc之工作流程：1、检查更改表是否有主键或唯一索引，是否有触发器2、检查修改表的表结构，创建一个临时表，在新表上执行ALTER TABLE语句3、在源表上创建三个触发器分别对于INSERT UPDATE DELETE操作4、从源表拷贝数据到临时表，在拷贝过程中，对源表的更新操作会写 阅读全文
posted @ 2018-12-27 11:43 海东潮 阅读(421) 评论(0) 推荐(0) 编辑
使用Prometheus+Grafana监控MySQL实践
摘要：Grafana+Prometheus打造全方位立体监控系统 Grafana+Prometheus打造全方位立体监控系统 一、介绍Prometheus Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接 阅读全文
posted @ 2018-12-27 11:35 海东潮 阅读(1399) 评论(0) 推荐(0) 编辑
Grafana是一个可视化面板-安装配置介绍
摘要：Grafana是一个可视化面板（Dashboard），有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源 最新版本：Version 5.4.2 December 13, 2018 ht 阅读全文
posted @ 2018-12-27 11:33 海东潮 阅读(3016) 评论(0) 推荐(0) 编辑
深入浅出分析MySQL索引设计背后的数据结构
摘要：在我们公司的DB规范中，明确规定： 1 2 1、建表语句必须明确指定主键 2、无特殊情况，主键必须单调递增 1 2 1、建表语句必须明确指定主键 2、无特殊情况，主键必须单调递增 1 2 1、建表语句必须明确指定主键 2、无特殊情况，主键必须单调递增 1 2 1、建表语句必须明确指定主键 2、无特殊 阅读全文
posted @ 2018-12-27 11:28 海东潮 阅读(265) 评论(0) 推荐(0) 编辑
MySQL索引设计不可忽视的知识点
摘要：本文主要讨论MySQL索引的部分知识。将会从MySQL索引基础、索引优化实战和数据库索引背后的数据结构三部分相关内容，下面一一展开。 一、MySQL——索引基础 首先，我们将从索引基础开始介绍一下什么是索引，分析索引的几种类型，并探讨一下如何创建索引以及索引设计的基本原则。 此部分用于测试索引创建的 阅读全文
posted @ 2018-12-27 11:13 海东潮 阅读(308) 评论(0) 推荐(0) 编辑
关于MySQL的commit非规律性失败案例的深入分析
摘要：关于MySQL的commit非规律性失败案例的深入分析 案例描述： 一个普通的事务提交，在应用里面会提示commit超时，失败。 一、理论知识 1、关于commit原理，事务提交过程 1、寻找修改的数据页： 1、如果该数据页在内存中，则直接是内存读； 2、如果该数据页内存中没有，物理读，就从磁盘调入 阅读全文
posted @ 2018-12-27 10:53 海东潮 阅读(515) 评论(0) 推荐(0) 编辑
SQL执行过程中的性能负载点
摘要：一、SQL执行过程 1、用户连接数据库，执行SQL语句； 2、先在内存进行内存读，找到了所需数据就直接交给用户工作空间； 3、内存读失败，也就说在内存中没找到支持SQL所需数据，就进行物理读，也就是到磁盘中查找； 4、找到的数据放到内存中，在内存进行数据过滤再放到会话工作空间。 5、假设会话工作空间 阅读全文
posted @ 2018-12-27 10:51 海东潮 阅读(253) 评论(0) 推荐(0) 编辑
MySQL存储写入速度慢分析
摘要：问题背景描述： 在MySQL中执行SQL语句，比如insert，贼慢，明明可能也就只是一行数据的插入，数据量很小，但是耗费的时间却很多，为什么？ 一、存储结构分析 MySQL存储结构图： 解析： 1、读操作：内存读-->cache缓存读-->磁盘物理读 读取到的数据会按上述顺序往回送。 2、写操作： 阅读全文
posted @ 2018-12-27 10:51 海东潮 阅读(1893) 评论(0) 推荐(0) 编辑
MySQL查询计划 key_len计算方法
摘要：本文首先介绍了MySQL的查询计划中ken_len的含义；然后介绍了key_len的计算方法；最后通过一个伪造的例子,来说明如何通过key_len来查看联合索引有多少列被使用。 key_len的含义 在MySQL中,可以通过explain查看SQL语句所走的路径,如下所示： mysql> creat 阅读全文
posted @ 2018-12-27 10:35 海东潮 阅读(1415) 评论(0) 推荐(0) 编辑
Percona: How to Restore MySQL Logical Backup at Maximum Speed
摘要：https://www.percona.com/blog/2018/02/22/restore-mysql-logical-backup-maximum-speed/ 阅读全文
posted @ 2018-12-27 10:14 海东潮 阅读(97) 评论(0) 推荐(0) 编辑
MySQL之UNDO及MVCC、崩溃恢复
摘要：UNDO特性：避免脏读、事务回滚、非阻塞读、MVCC、崩溃恢复 事务工作流程（图2） MVCC原理机制 崩溃恢复：redo前滚、undo回滚 长事务、大事务：危害、判断、处理 UNDO优化：实现undo分离、收缩undo表空间 0、undo物理存储研究 1>ibdata第五个数据块（系统事务表）中存 阅读全文
posted @ 2018-12-26 23:43 海东潮 阅读(2647) 评论(0) 推荐(1) 编辑
MySQL checkpoint深入分析
摘要：1、日常关注点的问题 2、日志点分析 3、checkpoint：脏页刷盘的检查点 4、模糊检查点发生条件 1、master thread checkpoint 2、flush_lru_list checkpoint 3、async/sync flush checkpoint 4、dirty page 阅读全文
posted @ 2018-12-26 23:39 海东潮 阅读(354) 评论(0) 推荐(0) 编辑
关于MySQL latch争用深入分析与判断
摘要：1、latch锁是什么锁？ 2、latch锁是如何保护list？ 3、latch争用的现象和过程？ 4、latch什么时候会产生严重的争用？ 5、如何监控latch争用情况？ 6、如何确认latch争用类型？ 7、如何降低latch争用？ 一、latch锁是什么锁 1、定义 latch锁是内存锁，是 阅读全文
posted @ 2018-12-26 23:35 海东潮 阅读(555) 评论(0) 推荐(0) 编辑
InnoDB关键特性之刷新邻接页-异步IO
摘要：Flush neighbor page 1、工作原理 2、参数控制 AIO 1、开启异步IO 一、刷新邻接页功能 1、工作原理 当刷新一个脏页时，innodb存储引擎会检测该页所在区(extent)的所有页，如果是脏页，那么一起进行刷新。这样做的好处显而易见，通过AIO可以将多个IO写入操作合并为一 阅读全文
posted @ 2018-12-26 23:34 海东潮 阅读(366) 评论(0) 推荐(0) 编辑
InnoDB关键特性之自适应hash索引
摘要：一、索引的资源消耗分析 1、索引三大特点 1、小：只在一个到多个列建立索引 2、有序：可以快速定位终点 3、有棵树：可以定位起点，树高一般小于等于3 2、索引的资源消耗点 1、树的高度，顺序访问索引的数据页，索引就是在列上建立的，数据量非常小，在内存中； 2、数据之间跳着访问 1、索引往表上跳，可能 阅读全文
posted @ 2018-12-26 23:30 海东潮 阅读(333) 评论(0) 推荐(0) 编辑
MySQL后台线程的清理工作
摘要：后台清理工作：脏页刷盘、undo回收 1、page cleaner thread：刷新脏页 2、purge thread：清空undo页、清理“deleted”page 一、innodb_page_cleaners page cleaner线程从buffer pool中刷脏页的线程数量。 1、5.7 阅读全文
posted @ 2018-12-26 23:28 海东潮 阅读(1509) 评论(0) 推荐(0) 编辑
MySQL IO线程及相关参数调优
摘要：一、关于一个SQL的简单的工作过程 1、工作前提描述 1、启动MySQL，在内存中分配一个大空间innodb_buffer_pool(还有log_buffer) 2、多用户线程连接MySQL，从内存分配用户工作空间(其中排序空间) 3、磁盘上有数据库文件、ib_logfile、tmp目录、undo 阅读全文
posted @ 2018-12-26 23:24 海东潮 阅读(1025) 评论(0) 推荐(0) 编辑
MySQL存储写入性能严重抖动分析
摘要：案例描述： 通过iostat发现存储的写性能长期维持在10MB左右，而且因为写性能差已经导致数据库性能变差； 两个小时以后，iostat发现系统的写性能已经能够到100MB以上，数据库性能也恢复正常。 也就是说，在对系统、数据库监控中，出现了性能波谷，存储写入性能严重抖动，为什么？ 一、原理过程 由 阅读全文
posted @ 2018-12-26 22:53 海东潮 阅读(575) 评论(0) 推荐(0) 编辑
MySQL的SQL预处理(Prepared)
摘要：Prepared SQL Statement：SQL的执行、预编译处理语法、注意点 一、SQL 语句的执行处理1、即时 SQL 一条 SQL 在 DB 接收到最终执行完毕返回，大致的过程如下： 1. 词法和语义解析； 2. 优化 SQL 语句，制定执行计划； 3. 执行并返回结果； 如上，一条 SQ 阅读全文
posted @ 2018-12-26 20:01 海东潮 阅读(1425) 评论(0) 推荐(1) 编辑
MySQL写压力性能监控与调优
摘要：写压力调优：数据库的写、写压力性能监控、写压力调优参数 一、关于DB的写 1、数据库是一个写频繁的系统2、后台写、写缓存3、commit需要写入4、写缓存失效或者写满-->写压力陡增-->写占读的带宽 1、BBU失效 2、写入突然增加、cache满5、日志写入、脏缓冲区写入 1、数据库是一个写频繁的 阅读全文
posted @ 2018-12-26 17:43 海东潮 阅读(547) 评论(0) 推荐(0) 编辑
关于MySQL buffer pool的预读机制
摘要：预读机制 两种预读算法 1、线性预读 2、随机预读 对预读的监控 一、预读机制 InnoDB在I/O的优化上有个比较重要的特性为预读，预读请求是一个i/o请求，它会异步地在缓冲池中预先回迁多个页面，预计很快就会需要这些页面，这些请求在一个范围内引入所有页面。InnoDB以64个page为一个exte 阅读全文
posted @ 2018-12-26 17:10 海东潮 阅读(960) 评论(0) 推荐(0) 编辑
Yearning v1.3.0 发布，Web 端 SQL 审核平台
摘要：Website 官网 www.yearning.io Feature 功能 数据库字典自动生成 SQL查询 查询工单 导出 自动补全，智能提示 查询语句审计 SQL可视化自动生成 索引语句自动生成 DDL语句自动生成 SQL审核 流程化工单 SQL语句检测与执行 SQL回滚 历史审核记录 推送 E- 阅读全文
posted @ 2018-12-26 14:53 海东潮 阅读(651) 评论(0) 推荐(0) 编辑
MySQL binlog相关分析
摘要：MySQL binlog相关分析 1、redolog、binlog的简单分析 图解：redolog和binlog机制 2、开启binlog及关注点 3、关注binlog的相关参数 4、binlog模式分析 5、关于binlog的使用 补充：双一模式 一、区别redolog和binlog 1、如下表格 阅读全文
posted @ 2018-12-26 14:19 海东潮 阅读(366) 评论(0) 推荐(0) 编辑
MySQL buffer pool中的三种链
摘要：三种page、三种list、LRU控制调优 一、innodb buffer pool中的三种页 1、free page：从未用过的页 2、clean page：干净的页，数据页的数据和磁盘一致 3、dirty page：脏页 SQL执行需求： 1、找free页 2、刷新脏页 1、这个页不是热的数据页 阅读全文
posted @ 2018-12-26 13:35 海东潮 阅读(426) 评论(0) 推荐(0) 编辑
MySQL 性能监控 4 大指标
摘要：MySQL 是什么？ MySQL 是现而今最流行的开源关系型数据库服务器。由 Oracle 所有，MySQL 提供了可以免费下载的社区版及包含更多特性与支持的商业版。从 1995 年首发以来，MySQL 衍生出多款备受瞩目的分支，诸如具有相当竞争力的 MariaDB 及 Percona。 关键 My 阅读全文
posted @ 2018-12-26 11:00 海东潮 阅读(583) 评论(0) 推荐(0) 编辑
实战演示疑惑 mysql insert到底加什么锁
摘要：innodb的事务隔离级别是可重复读级别且innodb_locks_unsafe_for_binlog禁用，也就是说允许next-key lock 实验来自网上. ( 如果你没有演示出来,请check order_id 是否是非unique key.) 如果你看不懂,请看后续文章. next-key 阅读全文
posted @ 2018-12-26 10:46 海东潮 阅读(4415) 评论(0) 推荐(0) 编辑
MySQL锁(行锁、表锁、页锁、乐观锁、悲观锁等)
摘要：锁，在现实生活中是为我们想要隐藏于外界所使用的一种工具。在计算机中，是协调多个进程或县城并发访问某一资源的一种机制。在数据库当中，除了传统的计算资源（CPU、RAM、I/O等等）的争用之外，数据也是一种供许多用户共享访问的资源。如何保证数据并发访问的一致性、有效性，是所有数据库必须解决的一个问题，锁 阅读全文
posted @ 2018-12-26 10:45 海东潮 阅读(519) 评论(0) 推荐(0) 编辑
分享一个基于小米 soar 的开源 sql 分析与优化的 WEB 图形化工具
摘要：soar-web 基于小米 soar 的开源 sql 分析与优化的 WEB 图形化工具，支持 soar 配置的添加、修改、复制，多配置切换，配置的导出、导入与导入功能。 环境需求 python3.xFlaskpymysql Python 环境未安装的可参考下面操作： Windows：step 1 去 阅读全文
posted @ 2018-12-26 10:42 海东潮 阅读(9075) 评论(1) 推荐(0) 编辑
Linux运维注意事项
摘要：Linux是一款非常强大的操作系统，在安全性、稳定性等方面都远超windows，特别在服务器操作系统方面。在我们运维的时候需要注意很多的细节。以下是总结的一些前辈的经验，和大家一起分享。 （1）远程服务器不允许关机，只允许重启，所以敲命令时慎重啊！！！！ （2）重启时应关闭服务； （3）不要在服务运 阅读全文
posted @ 2018-12-26 10:36 海东潮 阅读(559) 评论(0) 推荐(0) 编辑
【MySQL运维实践】
摘要：什么是日志 日志(log)是一种顺序记录事件流水的文件 记录计算机程序运行过程中发生了什么 多种多样的用途 帮助分析程序问题 分析服务请求的特征、流量等 判断工作是否成功执行 等等…… 帮助分析程序问题 分析服务请求的特征、流量等 判断工作是否成功执行 等等…… MySQL日志的分类 服务器日志 记 阅读全文
posted @ 2018-12-26 10:34 海东潮 阅读(343) 评论(0) 推荐(0) 编辑
小米正式开源 SQL 智能优化与改写工具 SOAR
摘要：近日，小米正式宣布开源 SOAR。 截至今日，该项目已经获得了 350 个「star」以及 44 个「fork」（GitHub项目地址：https://github.com/XiaoMi/soar） SOAR 简介 SOAR，即 SQL Optimizer And Rewriter，是一款 SQL 阅读全文
posted @ 2018-12-26 09:50 海东潮 阅读(1278) 评论(0) 推荐(0) 编辑
使用动态跟踪技术SystemTap监控MySQL、Oracle性能
摘要：【IT168 技术】本文根据吕海波2018年5月11日在【第九届中国数据库技术大会】上的演讲内容整理而成。 讲师介绍： 吕海波，美创科技研究员，ITPUB管理版版主。出版技术书籍《Oracle内核技术揭密》，曾参加过两届数据库大会。IT老兵，22年IT领域从业经历，十数年数据库经验，惯看IT江湖风起 阅读全文
posted @ 2018-12-26 00:10 海东潮 阅读(624) 评论(0) 推荐(0) 编辑
MySQL索引背后的数据结构及算法原理(employees实例)
摘要：摘要 http://blog.codinglabs.org/articles/theory-of-mysql-index.html 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据 阅读全文
posted @ 2018-12-26 00:03 海东潮 阅读(438) 评论(0) 推荐(0) 编辑
MySQL索引与Index Condition Pushdown(employees示例)
摘要：实验 先从一个简单的实验开始直观认识ICP的作用。 安装数据库 首先需要安装一个支持ICP的MariaDB或MySQL数据库。我使用的是MariaDB 5.5.34，如果是使用MySQL则需要5.6版本以上。 Mac环境下可以通过brew安装： 其它环境下的安装请参考MariaDB官网关于下载安装的 阅读全文
posted @ 2018-12-25 23:52 海东潮 阅读(356) 评论(0) 推荐(0) 编辑
systemd 之 journalctl
摘要：Systemd 日志系统 一、前言 昨天写了一篇文章，内容为：Systemd 常规操作与彩蛋，参考了 ArchLinux 官方文档并结合培训中的思路进行了部分修改补充。如果你懂得了基础的管理，那必然还需要做维护和审计。这时候就需要 Redhat7 中的systemd 架构下的——systemd-jo 阅读全文
posted @ 2018-12-25 23:34 海东潮 阅读(934) 评论(0) 推荐(0) 编辑
innodb_locks_unsafe_for_binlog分析
摘要：mysql数据库中默认的隔离级别为repeat-read. innodb默认使用了next-gap算法，这种算法结合了index-row锁和gap锁。正因为这样的锁算法，innodb在可重复读这样的默认隔离级别上，可以避免幻象的产生。 innodb_locks_unsafe_for_binlog最主 阅读全文
posted @ 2018-12-25 23:16 海东潮 阅读(2302) 评论(0) 推荐(0) 编辑
MySQL 使用自增ID主键和UUID 作为主键的优劣比较详细过程（从百万到千万表记录测试）
摘要：测试缘由 一个开发同事做了一个框架，里面主键是uuid，我跟他建议说mysql不要用uuid用自增主键，自增主键效率高，他说不一定高，我说innodb的索引特性导致了自增id做主键是效率最好的，为了拿实际的案例来说服他，所以准备做一个详细的测试。 作为互联网公司，一定有用户表，而且用户表UC_USE 阅读全文
posted @ 2018-12-25 21:35 海东潮 阅读(2513) 评论(0) 推荐(0) 编辑
简单实现MySQL数据库的日志审计
摘要：时间 2018-12-23 08:01:11 FreeBuf 原文 https://www.freebuf.com/articles/es/192062.html 主题 MySQL 时间 2018-12-23 08:01:11 FreeBuf 原文 https://www.freebuf.com/a 阅读全文
posted @ 2018-12-25 21:34 海东潮 阅读(8379) 评论(2) 推荐(0) 编辑
mysql中InnoDB表为什么要建议用自增列做主键
摘要：InnoDB引擎表的特点 1、InnoDB引擎表是基于B+树的索引组织表(IOT) 关于B+树 （图片来源于网上） B+ 树的特点: （1）所有关键字都出现在叶子结点的链表中(稠密索引)，且链表中的关键字恰好是有序的; （2）不可能在非叶子结点命中; （3）非叶子结点相当于是叶子结点的索引(稀疏索引 阅读全文
posted @ 2018-12-25 21:12 海东潮 阅读(584) 评论(0) 推荐(0) 编辑
Finding the source of signals on Linux with strace, auditd, or systemtap
摘要：inux and UNIX® like operating systems commonly use signals to communicate between processes. The use of the command line kill is widely known. WebSphe 阅读全文
posted @ 2018-12-25 21:09 海东潮 阅读(786) 评论(0) 推荐(0) 编辑
centOS7服务管理与启动流程
摘要：centOS7启动流程 systemd简介 unit对象 unit类型 特性 service unit文件格式 service unit file文件通常由三部分组成 unit段的常用选项 Service段的常用选项 Install段的常用选项 管理服务 管理系统服务 服务查看 chkconfig命 阅读全文
posted @ 2018-12-25 19:33 海东潮 阅读(716) 评论(0) 推荐(0) 编辑
ssh中文手册
摘要：ssh-keygen 中文手册 sshd_config 中文手册 sshd 中文手册 阅读全文
posted @ 2018-12-25 19:31 海东潮 阅读(515) 评论(0) 推荐(0) 编辑
《Systemd 中文手册》(v235)
摘要：《Systemd 中文手册》(v235) 阅读全文
posted @ 2018-12-25 19:30 海东潮 阅读(272) 评论(0) 推荐(0) 编辑
全球首款完全开源的堡垒机，符合 4A 的专业运维审计系统Jumpserver
摘要：Jumpserver是全球首款完全开源的堡垒机，是符合 4A 的专业运维审计系统。 http://www.jumpserver.org https://github.com/jumpserver/jumpserver 阅读全文
posted @ 2018-12-25 19:27 海东潮 阅读(1654) 评论(0) 推荐(0) 编辑
online ddl与pt-osc详解
摘要：Ⅰ、背景 优化sql的过程中发现表上少一个索引,直接加一个？会不会hang住？不加？sql又跑不好,由此引出一个问题——ddl操作怎么做？ Ⅱ、闲扯三两句 5.6版本之前的MySQL创建索引不支持online,会对表加一个读锁(S lock),只能select,insert会阻塞,5.6开始,MyS 阅读全文
posted @ 2018-12-25 18:57 海东潮 阅读(1647) 评论(0) 推荐(0) 编辑
MySQL中的xtrabackup的原理解析
摘要：xtrabackup的官方下载地址为 xtrabackup包含两个主要的工具，即xtrabackup和innobackupex，二者区别如下： innobackupex工具的备份过程原理图 如图，备份开始的时候 全库恢复的过程 这一阶段会启动xtrabackup内嵌的innodb实例，将xtraba 阅读全文
posted @ 2018-12-25 18:49 海东潮 阅读(1582) 评论(0) 推荐(0) 编辑
系统监控工具-glances
摘要：作为运维不仅要时时监控系统,还需要优雅的装13,当别人还在命令的小黑框里敲打那个top命令去查看系统性能的时候,我们带你使用web端监控系统性能 glances 是利用Python语言开发,的监控工具,与Linux命令中的top最为相似,但是比top命令更齐全. 主要用来监控: ·CPU 使用 率； 阅读全文
posted @ 2018-12-25 16:33 海东潮 阅读(539) 评论(0) 推荐(0) 编辑
一个简易的MySQL性能查询脚本
摘要：#!/bin/shmysqladmin -P3306 -uroot -p'password' -r -i 1 ext |\awk -F"|" \"BEGIN{ count=0; }"\'{ if($2 ~ /Variable_name/ && ((++count)%20 == 1)){\ print 阅读全文
posted @ 2018-12-25 16:32 海东潮 阅读(291) 评论(0) 推荐(0) 编辑
pt-osc原理、限制、及与原生online-ddl比较
摘要：1. pt-osc工作过程 2. 常用选项说明 只介绍部分常用的选项 --host=xxx --user=xxx --password=xxx连接实例信息，缩写-h xxx -u xxx -p xxx，密码可以使用参数--ask-pass 手动输入。 --alter结构变更语句，不需要 ALTER 阅读全文
posted @ 2018-12-25 16:28 海东潮 阅读(500) 评论(0) 推荐(0) 编辑
Netstat Commands for Linux Network Management
摘要：netstat (network statistics) is a command line tool for monitoring network connections both incoming and outgoing as well as viewing routing tables, i 阅读全文
posted @ 2018-12-25 16:27 海东潮 阅读(319) 评论(0) 推荐(0) 编辑
MySQL 资源大全中文版
摘要：https://github.com/jobbole/awesome-mysql-cn 阅读全文
posted @ 2018-12-25 16:23 海东潮 阅读(137) 评论(0) 推荐(0) 编辑
自增表死锁问题分析及处理
摘要：一个死锁信息，涉及到自增表的死锁，测试，压测产生的死锁信息，并发500，信息如下： 从上面死锁信息来看，lock mode AUTO-INC waiting，应该是表的自增列的问题，初步了解，这个死锁和 innodb_autoinc_lock_mode 的值有一定的关系，但也不因全归咎于mysql的 阅读全文
posted @ 2018-12-25 16:20 海东潮 阅读(1359) 评论(0) 推荐(0) 编辑
MySQL自带的性能压力测试工具mysqlslap
摘要：mysqlslap是从MySQL的5.1.4版开始就开始官方提供的压力测试工具。 通过模拟多个并发客户端并发访问MySQL来执行压力测试，同时提供了较详细的SQL执行数据性能报告，并且能很好的对比多个存储引擎（MyISAM，InnoDB等）在相同环境下的相同并发压力下的性能差别。 mysqlslap 阅读全文
posted @ 2018-12-25 16:16 海东潮 阅读(474) 评论(0) 推荐(0) 编辑
使用pt-heartbeat检测主从复制延迟
摘要：不要用SECONDS_BEHIND_MASTER来衡量MYSQL主备的延迟时间，原因如下： A：备库Seconds_behand_master值是通过将服务器当前的时间戳与二进制日志中的事件的时间戳对比得到的，所以只有在执行事件时才能报告延迟 B：如果备库复制线程没有运行，就会报延迟为null C： 阅读全文
posted @ 2018-12-25 16:14 海东潮 阅读(296) 评论(0) 推荐(0) 编辑
MySQL binlog group commit--commit stage
摘要：说明： 1、process_commit_stage_queue：调用调用ha_commit_low->innobase_commit进入innodb层依次提交 2、 process_after_commit_stage_queue：如果是半同步会调用after_commit处理超时 3、signa 阅读全文
posted @ 2018-12-25 16:10 海东潮 阅读(909) 评论(0) 推荐(0) 编辑
使用 xtrabackup 进行MySQL数据库物理备份
摘要：0. xtrabackup的功能 能实现的功能： 非阻塞备份innodb等事务引擎数据库、 备份myisam表会阻塞(需要锁)、 支持全备、增量备份、压缩备份、 快速增量备份(xtradb，原理类似于oracle：tracking 上次备份之后发生修改的page.)、 percona支持归档redo 阅读全文
posted @ 2018-12-25 16:06 海东潮 阅读(873) 评论(0) 推荐(0) 编辑
Another reason why SQL_SLAVE_SKIP_COUNTER is bad in MySQL
摘要：It is everywhere in the world of MySQL that if your replication is broken because an event caused a duplicate key or a row was not found and it cannot 阅读全文
posted @ 2018-12-25 15:58 海东潮 阅读(209) 评论(0) 推荐(0) 编辑
Character Sets: Migrating to utf8mb4 with pt_online_schema_change
摘要：David Berube | June 12, 2018 | Posted In: MySQL Modern applications often feature the use of data in many different languages. This is often true even 阅读全文
posted @ 2018-12-25 15:57 海东潮 阅读(219) 评论(0) 推荐(0) 编辑
The Downside of MySQL Auto-reconnect
摘要：A few days ago I was doing some cleanup on a passive master database using the MySQL client. I didn’t want my commands to be replicated so I executed  阅读全文
posted @ 2018-12-25 15:54 海东潮 阅读(225) 评论(0) 推荐(0) 编辑
MySQL参数优化：back_log
摘要：* 修改back_log参数值:由默认的50修改为500.（每个连接256kb, 占用：125M） back_log=500 查看mysql 当前系统默认back_log值，命令： show variables like 'back_log'; back_log值指出在MySQL暂时停止回答新请求之 阅读全文
posted @ 2018-12-25 15:51 海东潮 阅读(1424) 评论(0) 推荐(0) 编辑
Percona MySQL5.7内存OOM案例导致重启的memory和thread分析
摘要：前言 在一个阳光明媚的下午，电脑右下角传来一片片邮件提醒，同时伴随着微信钉钉的震动，打开一看，应用各种出错，天兔告警，数据库服务器内存爆红，Mysql数据库实例挂掉了。 排查 先交代一下数据库版本： 崩溃故障排除绝不是一项有趣的任务，特别是如果MySQL没有报告崩溃的原因。例如，当MySQL内存不足 阅读全文
posted @ 2018-12-25 15:44 海东潮 阅读(1915) 评论(0) 推荐(0) 编辑
一个能够编写、运行SQL查询并可视化结果的Web应用：SqlPad
摘要：SqlPad 是一个能够用于编写、运行 SQL 查询并可视化结果的 Web 应用。支持 PostgreSQL、MySQL 和 SQL Server。SqlPad 目前仅适合单个团队在内网中使用，它直接通过网络连接到数据库服务器，任何人可以在上面执行任意 SQL 语句。 https://rickber 阅读全文
posted @ 2018-12-25 15:09 海东潮 阅读(2513) 评论(2) 推荐(0) 编辑
mysqldump: Error 2013
摘要：最近在mysqldump时，遭遇mysqldump: Error 2013错误。以为是常见的参数设置有问题，调整之后，也没有任何成效。原来发生了OOM，以下是其具体描述。 一、故障现象 二、故障分析 四、几个参数描述 connect_timeout 连接响应超时时间。服务器端在这个时间内如未连接成功 阅读全文
posted @ 2018-12-25 14:58 海东潮 阅读(1054) 评论(0) 推荐(0) 编辑
LINUX使用extundelete进行数据恢复
摘要：从删库到跑路不是一句笑话，不小心误删除操作很容易造成整个公司业务崩溃。所以真的误删除了，第一时间就是赶紧停机，不要再进行任何写入操作，把这块磁盘挂载到其他机器进行数据恢复 这里我们介绍一下使用 LINUX 平台下的 extundelete 对误删除的数据进行恢复的操作 一、安装恢复软件 1、epel 阅读全文
posted @ 2018-12-25 14:53 海东潮 阅读(1356) 评论(0) 推荐(0) 编辑
guider – 全系统Linux性能分析器
摘要：Guider是一个免费且开源的，功能强大的全系统性能分析工具，主要以Python for Linux 操作系统编写。 它旨在衡量系统资源使用量并跟踪系统行为，从而使其可以有效分析系统性能问题或进行性能调整。 它显示了大量有关 CPU，内存，每个线程的磁盘使用率，进程，系统功能（用户/内核）的信息。  阅读全文
posted @ 2018-12-25 14:50 海东潮 阅读(467) 评论(0) 推荐(0) 编辑
systemd-analyze – 在Linux中查找系统启动性能统计信息
摘要：您是否在使用 systemd 系统和服务管理器，并且您的 Linux 系统需要较长时间才能启动，或者您希望查看系统启动性能的报告？ 如果是的话，你已经登陆了正确的地方。 在本文中，我们将向您展示如何使用systemd-analyze来分析 Linux 系统启动性能统计信息， systemd是 sys 阅读全文
posted @ 2018-12-25 14:42 海东潮 阅读(1510) 评论(0) 推荐(0) 编辑
iftop – 实时Linux网络带宽监控工具
摘要：在本文中，我们提出了另一个称为Interface TOP （IFTOP）的优秀程序， 它是一个基于实时控制台的网络带宽监控工具。 它将显示接口上网络活动的快速概览。 Iftop 平均每 2,10 和40秒显示实时更新的网络使用带宽列表。 在这篇文章中，我们将看到安装以及如何在 Linux 中使用IF 阅读全文
posted @ 2018-12-25 14:40 海东潮 阅读(585) 评论(0) 推荐(0) 编辑
如何配置Linux的服务设置为自动启动或崩溃重新启动后
摘要：介绍 在本教程中，自动启动 Linux 服务，我们将退后一步，更详细地解释 init 进程。 你应该很好地了解它们如何控制守护进程的启动行为。 在第一部分本系列教程我们分享使用 MySQL 的如何崩溃或重启后启用的 Linux 服务自动启动一些实际的例子。 我们看到了如何从三个不同的初始化方式做到这 阅读全文
posted @ 2018-12-25 14:38 海东潮 阅读(8887) 评论(0) 推荐(0) 编辑
MySQL innodb中各种SQL语句加锁分析
摘要：概要 Locking read（ SELECT ... FOR UPDATE or SELECT ... LOCK IN SHARE MODE），UPDATE以及DELETE语句通常会在他扫描的索引所有范围上加锁，忽略没有用到索引的那部分where语句。举个例子： CREATE TABLE `tes 阅读全文
posted @ 2018-12-24 13:31 海东潮 阅读(1120) 评论(0) 推荐(0) 编辑
灰度发布：灰度很简单，发布很复杂&灰度发布（灰度法则）的6点认识
摘要：什么是灰度发布，其要点有哪些？ 最近跟几个聊的来的同行来了一次说聚就聚的晚餐，聊了一下最近的工作情况如何以及未来规划等等，酒足饭饱后我们聊了一个话题“灰度发布”。 因为笔者所负责的产品还没有达到他们产品用户的量级上（最低的都在1千万+），也就谈不上灰度发布这一环节，所以只有听的份。 虽然笔者暂时没有 阅读全文
posted @ 2018-12-24 13:18 海东潮 阅读(2955) 评论(0) 推荐(2) 编辑
《MySQL技术内幕：InnoDB存储引擎(第2版)》书摘
摘要：MySQL技术内幕：InnoDB存储引擎(第2版) 姜承尧 第1章 MySQL体系结构和存储引擎 >> 在上述例子中使用了mysqld_safe命令来启动数据库，当然启动MySQL实例的方法还有很多，在各种平台下的方式可能又会有所不同。 >> 当启动实例时，MySQL数据库会去读取配置文件，根据配置 阅读全文
posted @ 2018-12-23 21:17 海东潮 阅读(379) 评论(0) 推荐(0) 编辑
索引，B+ tree，动态hash表
摘要：数据库课索引部分的学习笔记。 教材： Database System: The Complete Book, Chapter 15 Database System Implementation, Chapter 3 为了便于解释原理，定义student类型： typedef struct stude 阅读全文
posted @ 2018-12-23 21:09 海东潮 阅读(425) 评论(0) 推荐(0) 编辑
sysbench 多线程异步io模拟mysql测试的脚本
摘要：用于测试的脚本： 阅读全文
posted @ 2018-12-23 21:04 海东潮 阅读(257) 评论(0) 推荐(0) 编辑
MySQL B+树索引和哈希索引的区别
摘要：导读 在MySQL里常用的索引数据结构有B+树索引和哈希索引两种，我们来看下这两种索引数据结构的区别及其不同的应用建议。 二者区别 备注：先说下，在MySQL文档里，实际上是把B+树索引写成了BTREE，例如像下面这样的写法： CREATE TABLE t(aid int unsigned not 阅读全文
posted @ 2018-12-23 20:06 海东潮 阅读(1200) 评论(0) 推荐(0) 编辑
【MySQL 5.7 Reference Manual】15.4.2 Change Buffer（变更缓冲）
摘要：15.4.2 Change Buffer（变更缓冲） The change buffer is a special data structure that caches changes to secondary index pages when affected pages are not in t 阅读全文
posted @ 2018-12-20 12:29 海东潮 阅读(214) 评论(0) 推荐(0) 编辑
从MySQL slave system lock延迟说开去
摘要：本文主要分析 sql thread中system lock出现的原因，但是笔者并明没有系统的学习过master-slave的代码，这也是2018年的一个目标，2018年我都排满了，悲剧。所以如果有错误请指出，也作为一个笔记用于后期学习。同时也给出笔者现在知道的几种造成延迟的可能和延迟计算的方式。 本 阅读全文
posted @ 2018-12-20 12:22 海东潮 阅读(1719) 评论(0) 推荐(0) 编辑
一文搞懂Raft算法
摘要：目录 raft算法概览 leader election term 选举过程详解 log replication Replicated state machines 请求完整流程 safety corner case stale leader State Machine Safety leader c 阅读全文
posted @ 2018-12-19 12:24 海东潮 阅读(811) 评论(0) 推荐(0) 编辑
小慢歌之基于RHEL8/CentOS8的网络IP配置详解
摘要：➡ 在rhel8(含centos8)上，没有传统的network.service，在/etc/sysconfig/network-scripts/里也看不到任何脚本文件，那么该如何进行网络配置呢。 ➡ 本文详细阐述基于rhel8的网络配置，包含多种配置方法。 ➡ 事先声明：本文提及的所有内容，仅适用 阅读全文
posted @ 2018-12-19 12:23 海东潮 阅读(327) 评论(0) 推荐(0) 编辑
Relinking Oracle Home FAQ ( Frequently Asked Questions) (Doc ID 1467060.1)
摘要：In this Document APPLIES TO: Oracle Database - Enterprise Edition - Version 9.2.0.1 to 12.1.0.1 [Release 9.2 to 12.1] Generic UNIX PURPOSE This Docume 阅读全文
posted @ 2018-12-19 10:33 海东潮 阅读(849) 评论(0) 推荐(0) 编辑
Oracle 单实例 Relink Binary Options 说明
摘要：一.引入问题 帮朋友在CentOS上安装一个10g的Oracle，结果朋友的CentOS版本是6.2的版本，最新的一个版本，不过Linux上基本都差不多，所以按照以前的步骤，迅速的操作起来，结果遇到N多以前没有遇到过的错误。安装被迫中断，尝试忽略之前的错误，又会遇到其他的错误。 64位 linux平 阅读全文
posted @ 2018-12-19 10:32 海东潮 阅读(717) 评论(0) 推荐(0) 编辑
oracle upgrade best pratics
摘要：https://blogs.oracle.com/upgrade/best-practice 阅读全文
posted @ 2018-12-19 10:30 海东潮 阅读(114) 评论(0) 推荐(0) 编辑
sysbench安装、使用、结果解读
摘要：sysbench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。目前sysbench代码托管在github上，项目地址：https://github.com/akopytov/sysbench 一、 下载安装 ### RHEL/CentOS``` sh 阅读全文
posted @ 2018-12-10 23:07 海东潮 阅读(2313) 评论(0) 推荐(0) 编辑
Linux 进程管理之四大名捕
摘要：本文来自网络，著作权归原创作者所有，不做任何商业用途。 一、四大名捕 四大名捕，最初出现于温瑞安创作的武侠小说，是朝廷中正义力量诸葛小花的四大徒弟，四人各怀绝技，分别是轻功暗器高手“无情”、内功卓越的高手“铁手”、腿功惊人的“追命”和剑法一流的“冷血”。 本文四大名捕由 linux 命令所出演： 无 阅读全文
posted @ 2018-12-10 19:34 海东潮 阅读(212) 评论(0) 推荐(0) 编辑
mysql瑞士军刀–pt工具
摘要：Percona-Toolkits Percona-toolkit 简介 percona-toolkit是一组高级命令行工具的集合，用来执行各种通过手工执行非常复杂和麻烦的mysql任务和系统任务，这些任务包括： 检查master和slave数据的一致性 有效地对记录进行归档 查找重复的索引 对服务器 阅读全文
posted @ 2018-12-10 14:45 海东潮 阅读(464) 评论(0) 推荐(0) 编辑
上云三部曲：集团支付平台数据架构最佳实践
摘要：本文根据张小虎老师在2017年12月3日【DBAplus数据库年终盘点大会】现场演讲内容整理而成。点击文末链接即可下载PPT~ 讲师介绍 中国电信集团支付平台在2016年做过比较大的动作就是上云操作。通过上云操作，我们完成了公司成立6年来包括上层应用在内的所有硬、软件架构的大梳理与大调整。这项工作的 阅读全文
posted @ 2018-12-10 13:26 海东潮 阅读(604) 评论(0) 推荐(0) 编辑
gh-ost和pt-osc性能对比
摘要：haughty_xiao haughty_xiao haughty_xiao 基于MySQL row格式的复制现在趋于主流，因此可以使用此格式的binlog来跟踪改变而不是触发器。与percona toolkit的pt-online-schema-online相比，gh-ost做法更为干净，更安全。 阅读全文
posted @ 2018-12-10 13:08 海东潮 阅读(1083) 评论(0) 推荐(0) 编辑
MySQL在线DDL gh-ost 使用说明
摘要：原文：gh-ost: GitHub's online schema migration tool for MySQL http://github.com/github/gh-ost MySQL在线更改schema的工具很多，如Percona的pt-online-schema-change、 Face 阅读全文
posted @ 2018-12-10 12:03 海东潮 阅读(1886) 评论(0) 推荐(0) 编辑
MySQL 8.0新特性之原子DDL
摘要：文章来源：爱可生云数据库 简介 MySQL8.0 开始支持原⼦ DDL(atomic DDL)，数据字典的更新，存储引擎操作，写⼆进制日志结合成了一个事务。在没有原⼦DDL之前，DROP TABLE test1,test2；如遇到server crash，可能会有test1被drop了，test2没 阅读全文
posted @ 2018-12-10 11:57 海东潮 阅读(1017) 评论(2) 推荐(0) 编辑
pt-osc全解pt-online-schema-change
摘要：MySQL 大字段的DDL操作：加减字段、索引、修改字段属性等，在5.1之前都是非常耗时耗力的，特别是会对MySQL服务产生影响。在5.1之后随着Plugin Innodb的出现在线加索引的提高了很多，但是还会影响（时间缩短了），主要是出现了MDL锁。不过5.6可以避免上面的情况，但目前大部分在用的 阅读全文
posted @ 2018-12-10 11:44 海东潮 阅读(501) 评论(0) 推荐(0) 编辑
(笔记)MySQL 之 Metadata Locking 研究(5.5版本)
摘要：MySQL5.5 中引入了 metadata lock. 顾名思义，metadata lock 不是为了保护表中的数据的，而是保护 database objects(元数据)的。包括表结构、schema、存储过程、函数、触发器、mysql的调度事件(events). 要理解 metadata loc 阅读全文
posted @ 2018-12-10 11:24 海东潮 阅读(223) 评论(0) 推荐(0) 编辑
MySQL 一致性读 深入研究
摘要：一致性读，又称为快照读。使用的是MVCC机制读取undo中的已经提交的数据。所以它的读取是非阻塞的。 相关文档：http://dev.mysql.com/doc/refman/5.6/en/innodb-consistent-read.html A consistent read means tha 阅读全文
posted @ 2018-12-10 11:08 海东潮 阅读(1840) 评论(1) 推荐(0) 编辑
Operating System Error Codes
摘要：How To Fix Windows Errors Click here follow the steps to fix Windows and related errors. Instructions To Fix (Windows) error you need to follow the st 阅读全文
posted @ 2018-12-10 10:47 海东潮 阅读(570) 评论(0) 推荐(0) 编辑
5分钟了解MySQL5.7的Online DDL雷区
摘要：Part1:写在最前 Online DDL，当新手听到这个名字的时候，非常高兴，以为无论什么情况下，修改表结构都不会锁表，理想很丰满，现实很骨感！读完本文，教你如何避开这些雷区，安全的修改表结构。话不多说，我们分别来看下MySQL5.6和MySQL5.7在修改表结构上的相同和异同。 Part2:5. 阅读全文
posted @ 2018-12-10 10:21 海东潮 阅读(773) 评论(0) 推荐(0) 编辑
pt-osc原理、限制、及与原生online-ddl比较
摘要：ps-osc https://www.percona.com/doc/percona-toolkit/LATEST/pt-online-schema-change.html 一、MySQL ddl 的问题现状在运维mysql数据库时，我们总会对数据表进行ddl 变更，修改添加字段或者索引，对于mys 阅读全文
posted @ 2018-12-09 23:34 海东潮 阅读(1166) 评论(0) 推荐(0) 编辑
学习笔记：Rick's RoTs -- Rules of Thumb for MySQL
摘要：Table of Contents SELECTs -- do's and don'tsINDEXingENGINE DifferencesOptimizations, and notPARTITIONingMemory UsageCharacter SetsDatatypes - Directly 阅读全文
posted @ 2018-12-09 19:26 海东潮 阅读(257) 评论(0) 推荐(0) 编辑
学习笔记：The Best of MySQL Forum
摘要：http://mysql.rjweb.org/bestof.html I have tagged many of the better forum threads. 'Better' is based on how good I thing the answer was. (<bias> I wro 阅读全文
posted @ 2018-12-09 19:24 海东潮 阅读(696) 评论(0) 推荐(0) 编辑
学习笔记：Analyze MySQL Performance及慢日志的开启
摘要：Table of Contents Analyze MySQL PerformanceTuningSlow queries and Slowlog Table of Contents Brought to you by Rick James Analyze MySQL Performance Whe 阅读全文
posted @ 2018-12-09 19:20 海东潮 阅读(495) 评论(0) 推荐(0) 编辑
MySQL: Building the best INDEX for a given SELECT
摘要：Table of Contents The ProblemAlgorithmDigressionFirst, some examplesAlgorithm, Step 1 (WHERE "column = const")Algorithm, Step 2Algorithm, Step 2a (one 阅读全文
posted @ 2018-12-09 19:14 海东潮 阅读(303) 评论(0) 推荐(0) 编辑
学习笔记：ALTERing a Huge MySQL Table - 对一个超大表做alter调整
摘要：Table of Contents The ProblemFuture SolutionsOverview of SolutionShortcutAssumptions/Restrictions/ComplicationsDatabase LayerThe AlterOne Iteration (C 阅读全文
posted @ 2018-12-09 18:46 海东潮 阅读(1212) 评论(0) 推荐(0) 编辑
Google common_schema 2.2 documentation
摘要：http://shlomi-noach.github.io/common_schema/introduction.html https://github.com/shlomi-noach/common_schema 阅读全文
posted @ 2018-12-09 18:36 海东潮 阅读(221) 评论(0) 推荐(0) 编辑
学习笔记：MySQL Big DELETEs 删除大量数据
摘要：原文地址：http://mysql.rjweb.org/doc.php/deletebig Table of Contents The ProblemWhy it is a ProblemInnoDB and undoSolutionsPARTITIONDeleting in ChunksInnoD 阅读全文
posted @ 2018-12-09 18:22 海东潮 阅读(1730) 评论(0) 推荐(0) 编辑
mysql 5.5 数据库 utf8改utf8mb4
摘要：由于需要用到utf8mb4，之前是utf8现在给改成utf8mb4 查看当前环境 SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%'; + + + | Varia 阅读全文
posted @ 2018-12-09 17:41 海东潮 阅读(2236) 评论(0) 推荐(0) 编辑
Quick and Easy Installation of Oracle Database 12c on Oracle Linux in Oracle VM VirtualBox
摘要：发贴人 Sergio-Oracle 于2018-4-18 23:10:15在Oracle Linux Introduction How Does This Work? Requirements Before You Get Started Steps Clone the vagrant-boxes 阅读全文
posted @ 2018-12-09 00:21 海东潮 阅读(356) 评论(0) 推荐(0) 编辑
MySQl新特性 GTID
摘要：GTID简介 概念 全局事务标识符（GTID）是创建的唯一标识符，并与在源（主）服务器上提交的每个事务相关联。此标识符不但是唯一的，而且在给定复制设置中的所有服务器上都是唯一的。所有交易和所有GTID之间都有一对一的映射关系。GTID由source_id和transaction_id组成 GTID 阅读全文
posted @ 2018-12-09 00:14 海东潮 阅读(1173) 评论(0) 推荐(0) 编辑
Linux中 /proc/[pid] 目录各文件简析
摘要：Linux 内核提供了一种通过 proc 文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc 文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。 用户和应用程序可以通过 proc 得到系统的信息，并可以改变内核的某些参 阅读全文
posted @ 2018-12-09 00:10 海东潮 阅读(3001) 评论(0) 推荐(1) 编辑
proxysql on github
摘要：https://github.com/sysown/proxysql/wiki 阅读全文
posted @ 2018-12-09 00:05 海东潮 阅读(166) 评论(0) 推荐(0) 编辑
176条DevOps人员常用的linux命令速查表
摘要：线上查询及帮助命令 文件和目录操作命令 查看文件及内容处理命令 文件压缩及解压缩命令 信息显示命令 搜索文件命令 用户管理命令 基础网络操作命令 深入网络操作命令 有关磁盘与文件系统的命令 系统权限及用户授权相关命令 查看系统用户登陆信息的命令 内置命令及其它 系统管理与性能监视命令 关机 / 重启 阅读全文
posted @ 2018-12-09 00:03 海东潮 阅读(253) 评论(0) 推荐(0) 编辑
实战分析: MySQL字符集
摘要：原创： 吴炳锡 MySQLBeginner 实战分析: MySQL字符集说明 在本文中讨论以下几个问题： 1. GBK和UTF8占用几个字节 2. ASCII码在不同字符集中占用几个字节 3. MySQL中UTF8MB4在存储空间中是不是都是占用4个字节？ 字符集问题比较枯燥，知数堂MySQL DB 阅读全文
posted @ 2018-12-08 23:35 海东潮 阅读(283) 评论(0) 推荐(0) 编辑
MySQL: Connection Character Sets and Collations
摘要：character_set_server collation_servercharacter_set_databasecollation_database character_set_clientcharacter_set_results character_set_connection < cha 阅读全文
posted @ 2018-12-08 23:26 海东潮 阅读(1166) 评论(0) 推荐(0) 编辑
运维安全之Tripwire
摘要：转自网络 Tripwire是最为著名的unix下文件系统完整性检查的软件工具，这一软件采用的技术核心就是对每个要监控的文件产生一个数字签名，保留下来。 当文件现在的数字签名与保留的数字签名不一致时，那么现在这个文件必定被改动过了。 当Tripwire运行在数据库生成模式时，会根据管理员设置的一个配置 阅读全文
posted @ 2018-12-08 22:38 海东潮 阅读(294) 评论(0) 推荐(0) 编辑
七字诀，不再憋屈的运维
摘要：注：本文来源于网络，版权归原作者所有，用于知识分享，不任何商业用途。 前言 做运维的那么多，快乐的能有几个？ 我们那么努力，为什么总感觉过得那么憋屈、苦闷？做的事情那么多，为什么业务部门、直接领导和公司貌似都那么不领情？怎么做才能自己更加开心些？ 本专栏的主线实际是一个运维人员的十年成长史，从菜鸟到 阅读全文
posted @ 2018-12-08 22:36 海东潮 阅读(362) 评论(0) 推荐(0) 编辑
利用钉钉机器人发送告警信息
摘要：现在越来越多的人开始使用钉钉，对于运维告警来说，除了传统的邮件告警之外，短信告警、企业微信告警、钉钉机器人告警等也是首选考虑。这里介绍如果利用python+钉钉机器人 实现告警信息发送。 首先新增一个组专门用来接受告警信息，在组设置中看到组机器人Group robot，如下图： 点击“组机器人”，进 阅读全文
posted @ 2018-12-08 22:25 海东潮 阅读(3036) 评论(0) 推荐(1) 编辑
MySQL 支持utf8mb4
摘要：utf8mb4 utf8mb3 utf8 Refer to The utf8mb4 Character Set The utf8 Character Set (Alias for utf8mb3) MySQL在 5.5.3 之后增加了 utf8mb4 字符编码，mb4即 most bytes 4。简 阅读全文
posted @ 2018-12-08 22:13 海东潮 阅读(2305) 评论(0) 推荐(0) 编辑
MySQL binlog 组提交与 XA(两阶段提交)
摘要：1. XA-2PC (two phase commit, 两阶段提交 ) XA是由X/Open组织提出的分布式事务的规范(X代表transaction; A代表accordant？)。XA规范主要定义了(全局)事务管理器(TM: Transaction Manager)和(局部)资源管理器(RM: 阅读全文
posted @ 2018-12-07 16:27 海东潮 阅读(1499) 评论(0) 推荐(0) 编辑
MySQL 命令行工具之 mysqldump 深入研究
摘要：mysqldump 是MySQL的一个命令行工具，用于逻辑备份。可以将数据库和表的结构，以及表中的数据分别导出成：create database, create table, insert into的sql语句。当然也可以导出 存储过程，触发器，函数，调度事件(events)。不管是程序员，还是DB 阅读全文
posted @ 2018-12-07 14:05 海东潮 阅读(853) 评论(0) 推荐(0) 编辑
从零起步做到Linux运维经理，你必须管好的23个细节
摘要：不想成为将军的士兵，不是好士兵-拿破仑 如何成为运维经理？成为运维经理需要什么样的能力？我想很多运维工程师都会有这样的思考和问题。 如何成为运维经理。一般来说，运维经理大概有两种出身，一种是从底层最基础的维护做起，通过出色的维护工作，让公司领导对这个人非常认可，同时对Linux运维工作也比较重视，逐 阅读全文
posted @ 2018-12-07 12:27 海东潮 阅读(637) 评论(0) 推荐(0) 编辑
MySQL 资源大全中文版
摘要：原文地址： https://github.com/jobbole/awesome-mysql-cn 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-mysql 就是 shlomi-noach 发起维护的 MySQL 资源列表，内容包括：分析 阅读全文
posted @ 2018-12-07 12:26 海东潮 阅读(395) 评论(0) 推荐(0) 编辑
MySQL中RESET SLAVE和RESET MASTER的区别
摘要：RESET SLAVE的语法如下： 其中，channel_option主要是针对5.7.6引入的多源复制。 RESET SLAVE 官方的解释如下 其实，它是直接删除master.info和relay-log.info文件，并删除所有的relay log，然后重新生成一个新的relay log，即使 阅读全文
posted @ 2018-12-07 11:58 海东潮 阅读(605) 评论(0) 推荐(0) 编辑
Go 在 TiDB 的实践
摘要：https://blog.csdn.net/RA681t58CJxsgCkJ31/article/details/79215751 更多TiDB链接： https://my.oschina.net/zhaiyuan https://pingcap.com/blog-cn/#架构 阅读全文
posted @ 2018-12-07 11:54 海东潮 阅读(343) 评论(0) 推荐(0) 编辑
Google的分布式关系型数据库F1和Spanner
摘要：F1是Google开发的分布式关系型数据库，主要服务于Google的广告系统。Google的广告系统以前使用MySQL，广告系统的用户经常需要使用复杂的query和join操作，这就需要设计shard规则时格外注意，尽量将相关数据shard到同一台MySQL上。扩容时对数据reshard时也需要尽量 阅读全文
posted @ 2018-12-07 11:52 海东潮 阅读(741) 评论(0) 推荐(0) 编辑
MySQL导入SQL文件过大或连接超时的解决办法
摘要：mysql导入sql总是不知原因断开，处理方法： set global max_allowed_packet=100 000 000;set global net_buffer_length=100000;SET GLOBAL interactive_timeout=28800 000;SET GL 阅读全文
posted @ 2018-12-07 11:28 海东潮 阅读(806) 评论(0) 推荐(0) 编辑
[原创]使MySQL注释语句在后台能够输出的方法
摘要：开启general log或slow log的时候，前端发出的sql语句中的注释都别屏蔽掉了。 本意加注释我们想通过注释来快速知道sql是由哪个业务模块发出的。这点对dba和研发很有帮助。 一种变通的思路是采用 /*!版本号 执行内容 */的方式来实现。 另外，偶然发现percona tools执行 阅读全文
posted @ 2018-12-07 11:24 海东潮 阅读(430) 评论(0) 推荐(0) 编辑
mysql INSERT的几个语法 IGNORE|REPLACE|LOW_PRIORITY | DELAYED
摘要：INSERT IGNORE 与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在 的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。 REPLACE的运行与INSERT很相像。只有一 阅读全文
posted @ 2018-12-07 09:51 海东潮 阅读(1684) 评论(0) 推荐(0) 编辑
pt-heartbeat --update --daemonize 只执行一次秒退的问题
摘要：使用pt-heartbeat帮助测试MySQL从库delay时长- 第一次运行测试成功，运行顺畅。 过几天再次用--update测试时，发现pt-heartbeat只update一次就自己退出了，--daemonize参数似乎不起作用。 而且程序退出的exitcode还是0. 排查半天未发现问题。 阅读全文
posted @ 2018-12-07 00:12 海东潮 阅读(212) 评论(0) 推荐(0) 编辑
MySQL MTS复制: hitting slave_pending_jobs_size_max
摘要：测试步骤： 从库停止复制：stop slave; 主库创建大表400万条记录。 开启从库复制：start slave; 监测从库error log持续输出： 2018-12-06T10:40:52.616289+08:00 4 [Note] Multi-threaded slave: Coordin 阅读全文
posted @ 2018-12-06 11:36 海东潮 阅读(2106) 评论(0) 推荐(0) 编辑
centos7 修改中文字符集
摘要：CentOS 7字符集的问题与6有点区别，会出现下面问题，查看是中文，vi进入就变成乱码了 生产中修改配置文件 [root@ce1d2002a999 ~]# cat /etc/locale.conf [root@ce1d2002a999 ~]# cat /etc/locale.conf LANG=" 阅读全文
posted @ 2018-12-05 16:31 海东潮 阅读(3283) 评论(0) 推荐(0) 编辑
Can't locate Data/Dumper.pm in perl5的处理
摘要：Can't locate Data/Dumper.pm in perl5的处理 wget http://www.cpan.org/modules/by-module/Data/Data-Dumper-2.173.tar.gztar xvzf Data-Dumper-2.173.tar.gzcd Da 阅读全文
posted @ 2018-12-05 10:25 海东潮 阅读(1458) 评论(0) 推荐(0) 编辑
google开源项目outline一键安装vpn教程（转）
摘要：https://since1989.org/google/getoutline.html 阅读全文
posted @ 2018-12-04 23:36 海东潮 阅读(6) 评论(0) 推荐(0) 编辑
MySQL crash-safe replication(3): MySQL的Crash Safe和Binlog的关系
摘要：2016-12-23 17:29 宋利兵 作者：宋利兵 来源：MySQL代码研究(mysqlcode) 0、导读 本文重点介绍了InnoDB的crash safe和binlog之间的关系，以及2阶段提交、组提交等概念。看完后，相信您对MySQL Crash Recovery的过程，以及如何保证Cra 阅读全文
posted @ 2018-12-04 23:16 海东潮 阅读(483) 评论(0) 推荐(0) 编辑
MySQL crash-safe replication(2):
摘要：MySQL数据库的成功离不开其replicaiton(复制)，相对于Oracle DG和Microsoft SQL Server Log Shipping来说，其简单易上手，基本上1，2分钟内根据手册就能完成环境的搭建。然而，随着使用的深入，replication自身的问题会慢慢显露，其中非cras 阅读全文
posted @ 2018-12-04 23:03 海东潮 阅读(210) 评论(0) 推荐(0) 编辑
MySQL crash-safe replication(1)
摘要：MySQL 5.6 对复制功能提供了新特性：slave 支持 crash-safe，可以解决之前版本中系统异常断电可能导致的 SQL thread 信息不准确的问题。 原文：Enabling crash-safe slaves with MySQL 5.6 可以对从库进行配置 crash-safe 阅读全文
posted @ 2018-12-04 22:58 海东潮 阅读(179) 评论(0) 推荐(0) 编辑
MySQL升级后 MySQL 5.7 时间不兼容问题
摘要： 阅读全文
posted @ 2018-12-04 22:50 海东潮 阅读(410) 评论(0) 推荐(0) 编辑
《Linux性能调优指南 》全书
摘要：https://lihz1990.gitbooks.io/transoflptg/content/ 阅读全文
posted @ 2018-12-04 18:12 海东潮 阅读(750) 评论(0) 推荐(0) 编辑
Oracle Database 12c Preinstall Steps for Oracle Linux Simplified
摘要：This post is a quick reminder that Oracle Linux includes a handy RPM to address pre-installation requirement for Oracle Database 12c. Starting with Or 阅读全文
posted @ 2018-12-04 12:14 海东潮 阅读(637) 评论(0) 推荐(0) 编辑
MySQL的binlog2sql闪回
摘要：从MySQL binlog解析出你要的SQL。根据不同选项，你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。 用途 * 数据快速回滚(闪回)* 主从切换后新master丢数据的修复* 从binlog生成标准SQL，带来的衍生功能 项目状态 正常维护。应用于部分公司线上环境。 * 阅读全文
posted @ 2018-12-04 10:32 海东潮 阅读(544) 评论(0) 推荐(0) 编辑
Python pip 安装与使用
摘要：pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。 目前如果你在 python.org 下载最新版本的安装包，则是已经自带了该工具。 Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。 pip 官网：https: 阅读全文
posted @ 2018-12-04 10:08 海东潮 阅读(361) 评论(0) 推荐(0) 编辑
LSM树由来、设计思想以及应用到HBase的索引
摘要：讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来： 哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果 阅读全文
posted @ 2018-12-03 22:54 海东潮 阅读(258) 评论(0) 推荐(0) 编辑
关闭服务器节能模式
摘要：Dell 浪潮/华为 HP IBM Dell 浪潮/华为 HP IBM Dell 浪潮/华为 HP IBM 不少服务器出厂默认是开启节能模式，会有很多“坑”，例如意外宕机。我不清楚这些坑现在还是否存在，或者该怎样绕过去，也不想花费这个精力。 反正都是租用的服务器，完全不用操心电费；租机柜托管的，好像 阅读全文
posted @ 2018-12-03 22:51 海东潮 阅读(9758) 评论(0) 推荐(0) 编辑
透明大页
摘要：透明大页介绍 Transparent Huge Pages的一些官方介绍资料： Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to all 阅读全文
posted @ 2018-12-03 22:49 海东潮 阅读(2391) 评论(0) 推荐(0) 编辑
为MySQ启用HugePage
摘要：8.12.4.2 Enabling Large Page Support 8.12.4.2 Enabling Large Page Support 8.12.4.2 Enabling Large Page Support 8.12.4.2 Enabling Large Page Support So 阅读全文
posted @ 2018-12-03 22:40 海东潮 阅读(281) 评论(0) 推荐(0) 编辑
Oracle Dynamic Performance Views Version 12.2.0.1
摘要：Oracle Dynamic Performance ViewsVersion 12.2.0.1 https://www.morganslibrary.org/reference/dyn_perf_view.html General Information Library Note Coming t 阅读全文
posted @ 2018-12-01 10:28 海东潮 阅读(546) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示