01 2019 档案

Linux atop 监控系统状态
摘要：atop是一个功能非常强大的linux服务器监控工具，它的数据采集主要包括：CPU、内存、磁盘、网络、进程等，并且内容非常的详细，特别是当那一部分存在压力它会以特殊的颜色进行展示，如果颜色是红色那么说明已经非常严重了。 注意：所有的信息都是反映过去10S的状态信息 使用 atop工具安装好后在运行命 阅读全文
posted @ 2019-01-31 23:11 海东潮 阅读(7113) 评论(0) 推荐(0) 编辑
ELK 处理 Percona 审计日志(填坑)
摘要：前提 1、有强烈的审计需求。 2、能允许10%-15%左右的性能损失。 3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。 Logstash 比较坑的配置 1 2 3 4 5 6 7 8 9 10 11 input { file { path => ["/u02/backup/audit 阅读全文
posted @ 2019-01-30 14:44 海东潮 阅读(347) 评论(0) 推荐(0) 编辑
ELK 处理 Percona 审计日志(填坑)
摘要：前提 1、有强烈的审计需求。 2、能允许10%-15%左右的性能损失。 3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。 Logstash 比较坑的配置 1 2 3 4 5 6 7 8 9 10 11 input { file { path => ["/u02/backup/audit 阅读全文
posted @ 2019-01-30 14:44 海东潮 阅读(448) 评论(0) 推荐(0) 编辑
MySQL Host is blocked because of many connection errors 解决方法
摘要：应用日志提示错误：create connection error, url: jdbc:mysql://10.45.236.235:3306/db_wang?useUnicode=true&characterEncoding=UTF-8, errorCode 1129, state HY000jav 阅读全文
posted @ 2019-01-30 14:36 海东潮 阅读(3301) 评论(0) 推荐(0) 编辑
在线根据设置估算MySQL内存使用量
摘要：http://www.mysqlcalculator.com/ 阅读全文
posted @ 2019-01-30 13:19 海东潮 阅读(375) 评论(0) 推荐(0) 编辑
Oracle 锁机制探究
摘要：官网网址参考： 11.2 https://docs.oracle.com/cd/E11882_01/server.112/e40540/consist.htm#CNCPT020 10.2 https://docs.oracle.com/cd/B19306_01/server.102/b14220/c 阅读全文
posted @ 2019-01-28 11:42 海东潮 阅读(987) 评论(0) 推荐(0) 编辑
SQL SERVER的锁机制
摘要：SQL SERVER的锁机制（一）——概述（锁的种类与范围） SQL SERVER的锁机制（二）——概述（锁的兼容性与可以锁定的资源） SQL SERVER的锁机制（三）——概述（锁与事务隔离级别） SQL SERVER的锁机制（四）——概述（各种事务隔离级别发生的影响） SQL SERVER的锁机 阅读全文
posted @ 2019-01-28 10:43 海东潮 阅读(1261) 评论(0) 推荐(0) 编辑
你的MySQL服务器开启SSL了吗？SSL在https和MySQL中的原理思考
摘要：最近，准备升级一组MySQL到5.7版本，在安装完MySQL5.7后，在其data目录下发现多了很多.pem类型的文件，然后通过查阅相关资料，才知这些文件是MySQL5.7使用SSL加密连接的。本篇主要介绍MySQL5.7 SSL连接加密功能、如何使用？以及使用SSL的一些注意点。 我们知道，MyS 阅读全文
posted @ 2019-01-27 23:11 海东潮 阅读(7920) 评论(0) 推荐(0) 编辑
修改主机时间对MySQL影响
摘要：背景 测试环境 MySQL 5.7.24 CentOS 7.4 测试过程 解决1 解决2 原因 MySQL所在的服务器的时间更改，MySQL的缓存的时间戳依据的是主机的时间；在我们手动向前修改时间，会出现MySQL退出时要求清空比生成时间“还早”的缓存而导致了锁死。 验证 总结 1、在向前修改主机时 阅读全文
posted @ 2019-01-23 23:14 海东潮 阅读(2262) 评论(0) 推荐(0) 编辑
编译percona-server-locks-detail-5.7.22
摘要：yum install -y binutils compat-libstdc++ gcc gcc-c++ glibc glibc-devel ksh libaio libaio-devel libgcc libstdc++ libstdc++-devel libXext libXtst libX11 阅读全文
posted @ 2019-01-23 22:48 海东潮 阅读(178) 评论(0) 推荐(0) 编辑
Incorrect key file for table错误解决方法
摘要：问题现象： alter table portal_app_xxxx_xxx add devno varchar(64) NOT NULL DEFAULT '' COMMENT '设备机编',add serialno varchar(64) NOTNULL DEFAULT '' COMMENT '绑定 阅读全文
posted @ 2019-01-17 11:41 海东潮 阅读(3952) 评论(0) 推荐(0) 编辑
MySQL新参数log_error_verbosity
摘要：在介绍这个参数前，我们先聊聊参数log_warnings。我们知道MySQL中，其中log_error定义是否启用错误日志的功能和错误日志的存储位置，log_warnings定义是否将告警信息（warning messages）也写入错误日志。此选项默认启用，具体来说： log_warnings 为 阅读全文
posted @ 2019-01-13 18:23 海东潮 阅读(552) 评论(0) 推荐(0) 编辑
MYSQL中默认隐式事务及利用事务DML
摘要：一：默认情况下，MySQL采用autocommit模式运行。这意味着，当您执行一个用于更新（修改）表的语句之后，MySQL立刻把更新存储到磁盘中。默认级别为不可重复读。 二：会造成隐式提交的语句以下语句（以及同义词）均隐含地结束一个事务，似乎是在执行本语句前，您已经进行了一个COMMIT。（1）AL 阅读全文
posted @ 2019-01-13 00:22 海东潮 阅读(1337) 评论(0) 推荐(0) 编辑
谁记录了mysql error log中的超长信息
摘要：【问题】 最近查看MySQL的error log文件时，发现有很多服务器的文件中有大量的如下日志，内容很长（大小在200K左右），从记录的内容看，并没有明显的异常信息。 有一台测试服务器也有类似的问题，为什么会记录这些信息，是谁记录的这些信息，分析的过程比较周折。 Status informatio 阅读全文
posted @ 2019-01-12 20:55 海东潮 阅读(637) 评论(0) 推荐(0) 编辑
MySQL复制ERROR 1794 (HY000): Slave is not configured or failed to initialize properly.
摘要：ERROR 1794 (HY000): Slave is not configured or failed to initialize properly. You must at least set --server-id to enable either a master or a slave. 阅读全文
posted @ 2019-01-12 20:47 海东潮 阅读(5432) 评论(0) 推荐(0) 编辑
Linux 运行进程实时监控pidstat命令详解
摘要：简介 pidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU，内存、设备IO、任务切换、线程等。pidstat首次运行时显示自系统启动开始的各项统计信息，之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 实例讲解 默认参 阅读全文
posted @ 2019-01-10 20:16 海东潮 阅读(3434) 评论(0) 推荐(0) 编辑
CentOS 7下systemd是如何stop mysql服务的
摘要：【背景】 有同事在研究mongo的服务启动方式，讨论到mysql5.7的服务管理时一起做了下面测试。 MySQL5.7是用systemd来管理service的，它的配置文件/usr/lib/systemd/system/mysqld@.service中，只定义了ExecStart启动服务器的命令， 阅读全文
posted @ 2019-01-10 15:39 海东潮 阅读(1926) 评论(0) 推荐(0) 编辑
MySQL5.7 GTID学习笔记，[MySQL 5.6] GTID实现、运维变化及存在的bug
摘要：GTID(global transaction identifier)是对于一个已提交事务的全局唯一编号，前一部分是server_uuid，后面一部分是执行事务的唯一标志，通常是自增的。 下表整理了GTID常用的查看命令，以及变量的描述及原理，供大家参考（以下基于MySQL5.7，对于MySQL5. 阅读全文
posted @ 2019-01-10 10:08 海东潮 阅读(1008) 评论(0) 推荐(0) 编辑
ext与xfs文件系统比较与总结
摘要：centos7.0开始默认文件系统是xfs，centos6是ext4，centos5是ext3 1.EXT2简介 EXT2第二代扩展文件系统（英语：second extended filesystem，缩写为 ext2），是LINUX内核所用的文件系统。它开始由Rémy Card设计，用以代替ext 阅读全文
posted @ 2019-01-09 10:07 海东潮 阅读(4658) 评论(0) 推荐(0) 编辑
MySQL prepare 原理
摘要：Prepare的好处 Prepare SQL产生的原因。首先从mysql服务器执行sql的过程开始讲起，SQL执行过程包括以下阶段 词法分析->语法分析->语义分析->执行计划优化->执行。词法分析->语法分析这两个阶段我们称之为硬解析。词法分析识别sql中每个词，语法分析解析SQL语句是否符合sq 阅读全文
posted @ 2019-01-08 18:54 海东潮 阅读(1513) 评论(0) 推荐(0) 编辑
MySQL 性能监控 4 大指标
摘要：【编者按】本文作者为 John Matson，主要介绍 mysql 性能监控应该关注的 4 大指标。 文章系国内 ITOM 管理平台 OneAPM 编译呈现。 MySQL 是什么？ MySQL 是现而今最流行的开源关系型数据库服务器。由 Oracle 所有，MySQL 提供了可以免费下载的社区版及包 阅读全文
posted @ 2019-01-08 18:51 海东潮 阅读(908) 评论(0) 推荐(0) 编辑
MySQL数据库设计规范
摘要：目录 1. 规范背景与目的 MySQL数据库与 Oracle、 SQL Server 等数据库相比，有其内核上的优势与劣势。我们在使用MySQL数据库的时候需要遵循一定规范，扬长避短。本规范旨在帮助或指导RD、QA、OP等技术人员做出适合线上业务的数据库设计。在数据库变更和处理流程、数据库表设计、S 阅读全文
posted @ 2019-01-08 18:43 海东潮 阅读(403) 评论(0) 推荐(0) 编辑
What To Do When MySQL Runs Out of Memory: Troubleshooting Guide
摘要：In this article, I will show you how to use the new version of MySQL (5.7+) and how to troubleshoot MySQL memory allocation more easily. by Alexander 阅读全文
posted @ 2019-01-08 18:35 海东潮 阅读(253) 评论(0) 推荐(0) 编辑
MySQL 8.0 —— CATS事务调度算法的性能提升
摘要：原文地址：https://mysqlserverteam.com/contention-aware-transaction-scheduling-arriving-in-innodb-to-boost-performance/原文作者： Sunny Bains, Jiamin Huang (Univ 阅读全文
posted @ 2019-01-08 18:19 海东潮 阅读(593) 评论(0) 推荐(1) 编辑
MySQL5.7中的sql_mode默认值
摘要：简介 在正常项目开发过程中，如果MySQL版本从5.6升级到5.7版本。作为DBA在考虑数据库版本升级带来的影响时，一般会有几个注意点： sql_mode 默认值的改变 optimizer_switch 值的改变 备库升级影响主备复制本文主要内容是MySQL升级到5.7版本之后，由于默认的 sql_ 阅读全文
posted @ 2019-01-08 18:15 海东潮 阅读(1978) 评论(0) 推荐(0) 编辑
MySQL8.0——Resource Group（资源组）
摘要：资源组介绍 简介 MySQL是单进程多线程的程序，MySQL线程包括后台线程（Master Thread、IO Thread、Purge Thread等），以及用户线程。在8.0之前，所有线程的优先级都是一样的，并且所有的线程的资源都是共享的。但是在MySQL8.0之后，由于Resource Gro 阅读全文
posted @ 2019-01-08 18:09 海东潮 阅读(1284) 评论(0) 推荐(0) 编辑
MySQL 8.0 —— 数据字典
摘要：1、简介 MySQL 8.0 将数据库元信息都存放于InnoDB存储引擎表中，在之前版本的MySQL中，数据字典不仅仅存放于特定的存储引擎表中，还存放于元数据文件、非事务性存储引擎表中。本文将会介绍MySQL 8.0对数据字典的改进，以及改进带来的好处、影响以及局限性。 2、数据字典 2.1、新版本 阅读全文
posted @ 2019-01-08 17:24 海东潮 阅读(3000) 评论(0) 推荐(1) 编辑
mysqlreport工具
摘要：进行MySQL的配置优化，首先必须找出MySQL的性能瓶颈所在；而SHOW STATUS输出的报告正是用来计算性能瓶颈的参考数据。mysqlreport不像SHOW STATUS那样简单的罗列数据，而是对这些参考数据加以融合计算，整理成一个个优化参考点，然后就可以根据这个优化参考点的值以及该点的衡量 阅读全文
posted @ 2019-01-08 17:18 海东潮 阅读(461) 评论(0) 推荐(0) 编辑
MySQL 并行复制演进及 MySQL 8.0 中基于 WriteSet 的优化
摘要：MySQL 8.0 可以说是MySQL发展历史上里程碑式的一个版本，包括了多个重大更新，目前 Generally Available 版本已经已经发布，正式版本即将发布，在此将介绍8.0版本中引入的一个重要的新特性————基于 WriteSet 的并行复制方案，此方案号称是彻底解决困扰MySQL运维 阅读全文
posted @ 2019-01-08 17:14 海东潮 阅读(4481) 评论(0) 推荐(0) 编辑
MySQL--eq_range_index_dive_limit参数学习,MYSQL 5.6 5.7处理数据分布不均的问题
摘要：官方文档如下描述：This variable indicates the number of equality ranges in an equality comparison condition when the optimizer should switch from using index d 阅读全文
posted @ 2019-01-08 14:22 海东潮 阅读(893) 评论(0) 推荐(0) 编辑
恢复已删除ibdata1
摘要：最近我有一个客户删除InnoDB主表空间 - ibdata1 - 和重做日志 - ib_logfile *的情况。 MySQL使InnoDB文件始终保持打开状态。以下恢复技术基于此事实，它允许抢救数据库。 实际上，文件很久以前被删除 - 大约6个月左右。只要文件在物理上打开，它仍然会在文件系统中退出 阅读全文
posted @ 2019-01-08 14:16 海东潮 阅读(814) 评论(0) 推荐(0) 编辑
MySQL自增列（AUTO_INCREMENT）相关知识点总结
摘要：MySQL的自增列（AUTO_INCREMENT）和其它数据库的自增列对比，有很多特性和不同点（甚至不同存储引擎、不同版本也有一些不同的特性），让人感觉有点稍微复杂。下面我们从一些测试开始，来认识、了解一下这方面的特殊知识点： 自增列持久化问题 如果一个表拥有自增列，当前最大自增列值为9， 删除了自 阅读全文
posted @ 2019-01-08 10:17 海东潮 阅读(9712) 评论(0) 推荐(0) 编辑
MySQL状态变量Aborted_connects与Aborted_clients浅析
摘要：关于MySQL的状态变量Aborted_clients & Aborted_connects分别代表的意义，以及哪些情况或因素会导致这些状态变量变化呢？下文通过实验测试来验证一下，首先我们来看看状态变量的描述： Aborted Connect Aborted Connect表示尝试连接到MySQL服 阅读全文
posted @ 2019-01-08 10:14 海东潮 阅读(2096) 评论(0) 推荐(0) 编辑
使用 PsPing & PaPing 进行 TCP 端口连通性测试
摘要：PsPing & PaPing 介绍 通常，我们测试数据包能否通过 IP 协议到达特定主机时，都习惯使用 ping 命令。工作时 ping 向目标主机发送一个 IMCP Echo 请求的数据包，并等待接收 Echo 响应数据包，通过响应时间和成功响应的次数来估算丢包率和网络时延。但是在 Azure 阅读全文
posted @ 2019-01-08 10:01 海东潮 阅读(3768) 评论(0) 推荐(0) 编辑
MySQL参数log_bin_trust_function_creators介绍-存储过程和复制
摘要：MySQL的有个参数log_bin_trust_function_creators，官方文档对这个参数的介绍、解释如下所示： log_bin_trust_function_creators Command-Line Format --log-bin-trust-function-creators S 阅读全文
posted @ 2019-01-08 09:35 海东潮 阅读(540) 评论(0) 推荐(0) 编辑
sysbench对MySQL的压测,使用sysbench压测磁盘io
摘要：QPS - query per secondTPS - transaction per second 不是特别关注,每个业务场景中事务标准是不一样的 Ⅰ、sysbench测试框架 Ⅱ、常用测试脚本 Ⅲ、开搞 这个老版本好像有参数设置热数据的量什么的,现在最新版本不知道咋搞,就先将就直接弄吧,不管了 阅读全文
posted @ 2019-01-07 23:56 海东潮 阅读(827) 评论(0) 推荐(0) 编辑
InnoDB中锁的模式,锁的查看,算法
摘要：InnoDB中锁的模式 Ⅰ、总览 S行级共享锁lock in share mode X行级排它锁增删改 IS意向共享锁 IX意向排他锁 AI自增锁 Ⅱ、锁之间的兼容性 兼XIXSIS X × × × × IX × √ × √ S × × √ √ IS × √ √ √ 2.1 意向锁 意向锁揭示了下一 阅读全文
posted @ 2019-01-07 23:53 海东潮 阅读(955) 评论(0) 推荐(0) 编辑
MySQL崩溃恢复与组提交
摘要：Ⅰ、binlog与redo的一致性(原子) 由内部分布式事务保证 我们先来了解下,当一个commit敲下后,内部会发生什么？ 步骤操作 step1 InnoDB做prepare redo log(fsync) step2 Sever层写binlog(fsync) step3 InnoDB层commi 阅读全文
posted @ 2019-01-07 23:52 海东潮 阅读(683) 评论(0) 推荐(0) 编辑
MySQL重做日志相关
摘要：Ⅰ、事务的实现 这里我们先抛出答案,通过答案再展开分析 特性实现 A(原子性) redo C(一致性) undo I(隔离性) lock D(持久性) redo/undo 本节针对redo展开分析 Ⅱ、redo详解 2.1 redo log buffer redo就是我们常说的重做日志,用来实现持久 阅读全文
posted @ 2019-01-07 23:50 海东潮 阅读(1248) 评论(0) 推荐(0) 编辑
关于MySQL checkpoint
摘要：Ⅰ、Checkpoint 1.1 checkpoint的作用 缩短数据库的恢复时间 缓冲池不够用时,将脏页刷到磁盘 重做日志不可用时,刷新脏页 1.2 展开分析 page被缓存在bp中,page在bp中和disk中不是时刻保持一致的(page修改一下就刷一次盘是不现实的,是通过checkpoint来 阅读全文
posted @ 2019-01-07 23:49 海东潮 阅读(1511) 评论(2) 推荐(0) 编辑
缓冲池工作原理浅析
摘要：Ⅰ、缓冲池介绍 innodb存储引擎缓冲池(buffer pool) ，类似于oracle的sga，里面放着数据页 、索引页 、change buffer 、自适应哈希 、锁(5.5之前)等内容 综上所示： 每次读写数据都是通过Buffer Pool 当Buffer Pool中没有用户所需要的数据时 阅读全文
posted @ 2019-01-07 23:48 海东潮 阅读(2288) 评论(1) 推荐(0) 编辑
减少MySQL主从延迟的神器--并行复制大揭密
摘要：1. 简介 MySQL 5.6引入了基于schema的并行复制，即如果binlog events操作的是不同schema的对象，不是DDL，且操作的对象没有对其他schema的foreign key关联，则这些binlog events在slave上做重放的时候可以并行。slave上依然还是有一条I 阅读全文
posted @ 2019-01-07 19:25 海东潮 阅读(769) 评论(0) 推荐(0) 编辑
SSD 下的 MySQL（5.5） IO 优化
摘要：一 目录 一 目录 二 背景 三 SSD 特性 四 基于 SSD 的数据库优化 五 A 项目 MySQL 主从关系图 六 程序切换之前调优 6.1 修改系统 IO 调度算法 6.2 修改 innodb_io_capacity = 4000 6.3 修改 innodb_max_dirty_pages_ 阅读全文
posted @ 2019-01-07 18:29 海东潮 阅读(536) 评论(0) 推荐(0) 编辑
MySQL 复制夯住一例排查以及原理探讨
摘要：目录 目录 一 引子 二 故障分析 三 故障解决 四 原理探讨 五 小结 文/温国兵 一 引子 研发反应，有台从库和主库不同步。由于业务读操作是针对从库的，数据不同步必定会带来数据的不一致，业务获取的结果会受影响，所以这个问题必须尽快解决。 登上服务器，查看 MySQL 的从库状态，并没有任何报错信 阅读全文
posted @ 2019-01-07 18:24 海东潮 阅读(563) 评论(0) 推荐(0) 编辑
MySQL 8.0 新增SQL语法对窗口函数和CTE的支持
摘要：如果用过MSSQL或者是Oracle中的窗口函数（Oracle中叫分析函数）， 然后再使用MySQL 8.0之前的时候，就知道需要在使用窗口函数处理逻辑的痛苦了，虽然纯SQL也能实现类似于窗口函数的功能，但是这种SQL在可读性和以及使用方式上大打折扣，看起来写起了都比较难受。 在MSSQL和Orac 阅读全文
posted @ 2019-01-07 18:19 海东潮 阅读(897) 评论(0) 推荐(0) 编辑
MySQL分析函数实现
摘要：| MySQL分析函数实现还好MySQL8.0已经实现了与Oracle相同的分析函数。 1. 实现rownumSET @rn:=0;SELECT @rn:=@rn+1 AS rownum ,e.* FROM emp e; 或者写成： SELECT @rn:=@rn + 1 AS rownum ,e. 阅读全文
posted @ 2019-01-07 18:10 海东潮 阅读(3046) 评论(0) 推荐(0) 编辑
MySQL 8.0.2: Introducing Window Functions
摘要：July 18, 2017MySQL, SQLDag Wanvik MySQL 8.0.2 introduces SQL window functions, or analytic functions as they are also sometimes called. They join CTEs 阅读全文
posted @ 2019-01-07 15:40 海东潮 阅读(230) 评论(0) 推荐(0) 编辑
MySQL索引选择不正确并详细解析OPTIMIZER_TRACE格式
摘要：一 表结构如下: CREATE TABLE t_audit_operate_log ( Fid bigint(16) AUTO_INCREMENT, Fcreate_time int(10) unsigned NOT NULL DEFAULT '0', Fuser varchar(50) DEFAU 阅读全文
posted @ 2019-01-07 13:52 海东潮 阅读(1913) 评论(0) 推荐(0) 编辑
mysql InnoDB引擎索引超过长度限制
摘要：组合索引长度之和大于 767 bytes并无影响，当有某个字段定义长度大于 767 bytes（1000*3）时，仅产生告警，但不影响创建，超长字段会取前 255 字符作为前缀索引，并且组合索引中字段出现的顺序并无关系。 为什么3072InnoDB一个page的默认大小是 16 k。由于是Btree 阅读全文
posted @ 2019-01-07 13:45 海东潮 阅读(5799) 评论(0) 推荐(0) 编辑
MySQL 8.0有什么新功能
摘要：https://mysqlserverteam.com/whats-new-in-mysql-8-0-generally-available/ 我们自豪地宣布MySQL 8.0的一般可用性。 现在下载！ MySQL 8.0是世界上最受欢迎的开源数据库中令人兴奋的新版本，并且全面改进。一些关键的增强功 阅读全文
posted @ 2019-01-07 13:44 海东潮 阅读(2538) 评论(0) 推荐(0) 编辑
Archive MySQL Data In Chunks Using Stored Procedure
摘要：sqladmin on September 26, 2018 In a DBA’s day to day activities, we are doing Archive operation on our transnational database servers to improve your 阅读全文
posted @ 2019-01-07 13:44 海东潮 阅读(306) 评论(0) 推荐(0) 编辑
Automation Script For Percona Xtrabackup FULL/Incremental
摘要：This is my first post in 2019, and Im starting with a MySQL solution. In MySQL world, implementing a better backup strategy to meet all of your requir 阅读全文
posted @ 2019-01-07 13:18 海东潮 阅读(398) 评论(0) 推荐(0) 编辑
可选的binlog解析组件
摘要：本文的mysql-binlog-connector-java：https://github.com/shyiko/mysql-binlog-connector-java 阿里的canal：https://github.com/alibaba/canal 点评的puma：https://github. 阅读全文
posted @ 2019-01-07 12:14 海东潮 阅读(431) 评论(0) 推荐(0) 编辑
超级有用的15个mysqlbinlog命令
摘要：在MySQL或MariaDB中，任意时间对数据库所做的修改，都会被记录到日志文件中。例如，当你添加了一个新的表，或者更新了一条数据，这些事件都会被存储到二进制日志文件中。二进制日志文件在MySQL主从复合中是非常有用的，主服务器会发送其数据到远程服务器中。 当你需要恢复MySQL时，也会需要使用到二 阅读全文
posted @ 2019-01-07 11:42 海东潮 阅读(4996) 评论(0) 推荐(0) 编辑
几个日志输出的解释
摘要：我们通过源代码，找到下面一段，该段实现了上述日志的输出。 if ((my_now – rli->mts_last_online_stat)>= mts_online_stat_period) { sql_print_information(“Multi-threadedslave statistic 阅读全文
posted @ 2019-01-07 11:42 海东潮 阅读(849) 评论(0) 推荐(0) 编辑
表迁移工具的选型-复制ibd的方法-传输表空间
摘要：1.1. 场景 有的时候开放人员自己的库需要帮忙导一些数据，但是表的数据量又很大。虽然说使用mysqldump或mysqlpump也可以导。但是这耗时需要比较久。 记得之前建议开放人员可以直接使用navicat去抽取测试库的数据。但是发现但遇到大表的时候，发现navicat会卡死。 1.2. 使用方 阅读全文
posted @ 2019-01-07 10:47 海东潮 阅读(323) 评论(0) 推荐(0) 编辑
误删mysql表物理文件的解决方法(不涉及恢复数据)
摘要：该方法只介绍了如何救回这个表名(数据不恢复) 如果想要恢复原来数据 直接用extundelete把文件恢复后放回去即可 并且是适用于平时没有全备的情况下 如果有全备 直接那全备的frm和idb文件放回去 就可以了 该方法同样适用于数据表迁移(只迁移一个表) 因为discard再import的速度 远 阅读全文
posted @ 2019-01-07 09:39 海东潮 阅读(957) 评论(0) 推荐(0) 编辑
美团SQL优化工具SQLAdvisor
摘要：介绍 在数据库运维过程中，优化 SQL 是 DBA 团队的日常任务。例行 SQL 优化，不仅可以提升程序性能，还能够降低线上故障的概率。 目前常用的 SQL 优化方式包括但不限于：业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到 SQL 优化的目的。索引优化往往 阅读全文
posted @ 2019-01-07 09:24 海东潮 阅读(555) 评论(0) 推荐(0) 编辑
Linux网络状态工具ss命令使用详解
摘要：ss命令用于显示socket状态. 他可以显示PACKET sockets, TCP sockets, UDP sockets, DCCP sockets, RAW sockets, Unix domain sockets等等统计. 它比其他工具展示等多tcp和state信息. 它是一个非常实用、快 阅读全文
posted @ 2019-01-07 09:12 海东潮 阅读(603) 评论(0) 推荐(0) 编辑
MySQL应用架构优化-实时数据处理
摘要：1.1. 场景 在和开发人员做优化的时候，讨论最多的应该是结合应用场景编写出合适的SQL。并培训开发应该如何编写SQL让MySQL的性能尽量好。但是有一些的场景对于SQL的优化是行不通的。 打个比方，产品有这样的需求：针对每个商品实时显示销售者的销售量，并且按销售量做排序，还要实现 分页。这个需求看 阅读全文
posted @ 2019-01-07 09:05 海东潮 阅读(821) 评论(0) 推荐(0) 编辑
运维利器万能的 strace
摘要：strace是什么？ 按照strace官网的描述, strace是一个可用于诊断、调试和教学的Linux用户空间跟踪器。我们用它来监控用户空间进程和内核的交互，比如系统调用、信号传递、进程状态变更等。 strace底层使用内核的ptrace特性来实现其功能。 在运维的日常工作中，故障处理和问题诊断是 阅读全文
posted @ 2019-01-07 09:02 海东潮 阅读(385) 评论(0) 推荐(0) 编辑
ngrep命令用法
摘要：ngrep 是grep(在文本中搜索字符串的工具)的网络版，他力求更多的grep特征，用于搜寻指定的数据包。正由于安装ngrep需用到libpcap库， 所以支持大量的操作系统和网络协议。能识别TCP、UDP和ICMP包，理解bpf的过滤机制。 语法 1 2 3 ngrep <-LhNXViwqpe 阅读全文
posted @ 2019-01-07 08:42 海东潮 阅读(2551) 评论(0) 推荐(0) 编辑
[Linux|DBA]运维三十六计
摘要：这里是腾讯两位大神梁定安、周小军总记得运维DBA三十六计-- 阅读全文
posted @ 2019-01-07 08:36 海东潮 阅读(322) 评论(0) 推荐(0) 编辑
sysbench使用
摘要：1 部署 1.1 官方主页 https://github.com/Percona-Lab/sysbench-tpcc https://github.com/akopytov/sysbench 1.2 安装 Percona安装源（yum源） Wget https://www.percona.com/r 阅读全文
posted @ 2019-01-06 22:02 海东潮 阅读(1094) 评论(0) 推荐(0) 编辑
mysql 导入csv文件
摘要：导入时，系统会默认一个导入路径，如果导入路径不是默认路径，会报 The MySQL server is running with the --secure-file-priv option so it cannot... 的错误，可通过show variables like '%secure%';查 阅读全文
posted @ 2019-01-06 22:00 海东潮 阅读(595) 评论(0) 推荐(0) 编辑
mysql主从不同步问题 Error_code: 1236
摘要：第一种情况，开启GTID，从库与主库不同步。 1、在从库上查看从的状态 mysql> show slave status \G *************************** 1. row *************************** Slave_IO_State: Master_ 阅读全文
posted @ 2019-01-06 21:58 海东潮 阅读(925) 评论(0) 推荐(0) 编辑
mysql主从不同步问题 Error_code: 1197
摘要：首先查看从的状态 mysql> show slave status \G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event M 阅读全文
posted @ 2019-01-06 21:47 海东潮 阅读(1023) 评论(0) 推荐(0) 编辑
mysql 5.7 Group Replication
摘要：MySQL 组复制实现了基于复制协议的多主更新(单主模式)。 复制组由多个 server成员构成，并且组中的每个 server 成员可以独立地执行事务。但所有读写（RW）事务只有在冲突检测成功后才会提交。只读（RO）事务不需要在冲突检测，可以立即提交。 对于任何 RW 事务，提交操作并不是由始发 s 阅读全文
posted @ 2019-01-06 21:41 海东潮 阅读(381) 评论(0) 推荐(0) 编辑
一张思维导图纵观MySQL数据安全体系！
摘要：杨奇龙 2017-06-29 09:52:10 786 作者介绍 杨奇龙，前阿里数据库团队资深DBA，主要负责淘宝业务线，经历多次双十一，有海量业务访问DB架构设计经验。目前就职于有赞科技，负责数据库运维工作，熟悉MySQL性能优化、故障诊断、性能压测。 简介 和团队内部的同事一起沟通，讨论了MyS 阅读全文
posted @ 2019-01-06 20:18 海东潮 阅读(589) 评论(0) 推荐(0) 编辑
利用percona-toolkit定位数据库性能问题
摘要：当你的性能瓶颈卡在数据库这块的时候，可以通过percona-toolkit来进行问题定位。 那么，首先，介绍下percona-toolkit。percona-toolkit是一组高级命令行工具的集合，用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务，这些任务包括： 1）检查master和 阅读全文
posted @ 2019-01-06 20:02 海东潮 阅读(564) 评论(0) 推荐(0) 编辑
__细看InnoDB数据落盘 图解 MYSQL
摘要：http://hatemysql.com/?p=503 1. 概述 前面很多大侠都分享过MySQL的InnoDB存储引擎将数据刷新的各种情况。我们这篇文章从InnoDB往下，看看数据从InnoDB的内存到真正写到存储设备的介质上到底有哪些缓冲在起作用。 我们通过下图看一下相关的缓冲： 图 1 inn 阅读全文
posted @ 2019-01-06 19:07 海东潮 阅读(1445) 评论(1) 推荐(0) 编辑
MYSQL 5.7 新增150多个新功能
摘要：http://www.thecompletelistoffeatures.com/ There are over 150 new features in MySQL 5.7. The MySQL manual is very good, but verbose. This is a list of 阅读全文
posted @ 2019-01-06 18:11 海东潮 阅读(380) 评论(0) 推荐(0) 编辑
MySQL复制 slave_exec_mode 参数IDEMPOTENT 说明
摘要：背景： 今天无意当中看到参数slave_exec_mode，从手册里的说明看出该参数和MySQL复制相关，是可以动态修改的变量，默认是STRICT模式（严格模式），可选值有IDEMPOTENT模式（幂等模式）。设置成IDEMPOTENT模式可以让从库避免1032（从库上不存在的键）和1062（重复键 阅读全文
posted @ 2019-01-06 17:57 海东潮 阅读(1126) 评论(0) 推荐(0) 编辑
[MySQL复制] SQL_ERROR 1032解决办法（non-gtid env）
摘要：一、缘由： 在主主同步的测试环境，由于业务侧没有遵循同一时间只写一个点的原则，造成A库上删除了一条数据，B库上在同时更新这条数据。 由于异步和网络延时，B的更新event先到达A端执行，造成A端找不到这条记录，故SQL_THREAD报错1032，主从同步停止。 二、错误说明： MySQL主从同步的1 阅读全文
posted @ 2019-01-06 11:35 海东潮 阅读(777) 评论(0) 推荐(0) 编辑
__MySQL 5.7 Replication 相关新功能说明
摘要：背景： MySQL5.7在主从复制上面相对之前版本多了一些新特性，包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关，所以本文将针对这些新特性放一起进行说明，篇幅可能稍长，本文使用的MySQL版本是5.7.13。 1， 阅读全文
posted @ 2019-01-06 10:09 海东潮 阅读(464) 评论(0) 推荐(0) 编辑
4种更快更简单实现Python数据可视化的方法
摘要：数据可视化是数据分析或机器学习项目中十分重要的一环。通常，你需要在项目初期进行探索性的数据分析（EDA），从而对数据有一定的了解，而且创建可视化确实可以使分析的任务更清晰、更容易理解，特别是对于大规模的高维数据集。在项目接近尾声时，以一种清晰、简洁而引人注目的方式展示最终结果也是非常重要的，让你的受 阅读全文
posted @ 2019-01-05 23:16 海东潮 阅读(1015) 评论(0) 推荐(0) 编辑
解决MySQL5.6中的Slave延迟问题的基本教程
摘要：一、原因分析一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式(以InnoDB引擎为主)完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的apply，所以难怪slave在高并发 阅读全文
posted @ 2019-01-05 22:18 海东潮 阅读(993) 评论(0) 推荐(0) 编辑
MySQL隐形索引简介
摘要：不可见索引允许您将索引标记为查询优化器不可用。MySQL维护不可见索引，并在与索引关联的列中的数据发生更改时使其保持最新。 默认情况下，索引是可见的。要使它们不可见，您必须在创建时或使用ALTER TABLE命令显式声明其可见性。MySQL为我们提供了维护索引可见性的关键字VISIBLE和INVIS 阅读全文
posted @ 2019-01-05 20:47 海东潮 阅读(1169) 评论(0) 推荐(0) 编辑
MySQL大数据表水平分区优化的详细步骤
摘要：将运行中的大表修改为分区表 本文章代码仅限于以数据时间按月水平分区，其他需求可自行修改代码实现 1. 创建一张分区表 这张表的表字段和原表的字段一摸一样，附带分区 1 2 3 4 5 6 7 8 9 10 11 12 CREATE TABLE `metric_data_tmp` ( id bigin 阅读全文
posted @ 2019-01-05 10:41 海东潮 阅读(1370) 评论(0) 推荐(0) 编辑
MySQL数据行溢出的深入理解
摘要：一、从常见的报错说起 故事的开头我们先来看一个常见的sql报错信息： 相信对于这类报错大家一定遇到过很多次了，特别对于OMG这种已内容生产为主要工作核心的BG，在内容线的存储中，数据大一定是个绕不开的话题。这里的数据“大”，远不止存储空间占用多，其中也包括了单个（表）字段存储多、大，数据留存时间长， 阅读全文
posted @ 2019-01-05 10:37 海东潮 阅读(4097) 评论(0) 推荐(0) 编辑
mysql client之init-command
摘要：If the server is a replication master and you want to avoid replicating the content to replication slaves, use this command: [root@localhost backup]# 阅读全文
posted @ 2019-01-04 21:23 海东潮 阅读(780) 评论(0) 推荐(0) 编辑
10分钟让你明白MySQL是如何利用索引的
摘要：一、前言 在MySQL中进行SQL优化的时候，经常会在一些情况下，对MySQL能否利用索引有一些迷惑。 譬如: 今天，我将会用一个模型，把这些问题都一一解答，让你对MySQL索引的使用不再畏惧 二、知识补充 key_len EXPLAIN执行计划中有一列 key_len 用于表示本次查询中，所选择的 阅读全文
posted @ 2019-01-04 21:08 海东潮 阅读(890) 评论(1) 推荐(1) 编辑
MySQL在删除表时I/O错误原因分析
摘要：本文由腾讯数据库技术 发表于云+社区专栏 问题现象 最近使用sysbench测试MySQL，由于测试时间较长，写了一个脚本按prepare->run->cleanup的顺序在后台跑着。跑完后察看日志发现一个问题，MySQL服务的错误日志中出现多条类似以下信息的报错： 看起来是I/O出现了错误，但My 阅读全文
posted @ 2019-01-04 21:06 海东潮 阅读(725) 评论(0) 推荐(0) 编辑
MySQL 5.7原生JSON格式支持
摘要：01. 在MySQL与PostgreSQL的对比中，PG的JSON格式支持优势总是不断被拿来比较。其实早先MariaDB也有对非结构化的数据进行存储的方案，称为dynamic column，但是方案是通过BLOB类型的方式来存储。这样导致的问题是查询性能不高，不能有效建立索引，与一些文档数据库对比， 阅读全文
posted @ 2019-01-04 19:45 海东潮 阅读(2988) 评论(0) 推荐(0) 编辑
MySQL版本升级之5.6到5.7
摘要：两种升级方式 In-Place Upgrade: Involves shutting down the old MySQL version, replacing the old MySQL binaries or packages with the new ones, restarting MySQ 阅读全文
posted @ 2019-01-04 11:00 海东潮 阅读(328) 评论(0) 推荐(0) 编辑
参数innodb_force_recovery影响了整个InnoDB存储引擎的恢复状况
摘要：参数innodb_force_recovery影响了整个InnoDB存储引擎的恢复状况。该值默认为0，表示当需要恢复时执行所有的恢复操作。当不能进行有效恢复时，如数据页发生了corruption，MySQL数据库可能会宕机，并把错误写入错误日志中。 但是，在某些情况下，我们可能并不需要执行完整的恢复 阅读全文
posted @ 2019-01-04 10:56 海东潮 阅读(1430) 评论(0) 推荐(0) 编辑
innodb_fast_shutdown的内幕
摘要：Innodb_fast_shutdown告诉innodb在它关闭的时候该做什么工作。有三个值可以选择：1. 0表示在innodb关闭的时候，需要purge all, merge insert buffer,flush dirty pages。这是最慢的一种关闭方式，但是restart的时候也是最快的 阅读全文
posted @ 2019-01-04 10:55 海东潮 阅读(775) 评论(0) 推荐(0) 编辑
MySQL关闭过程详解和安全关闭MySQL的方法
摘要：本文分析了mysqld进程关闭的过程，以及如何安全、缓和地关闭MySQL实例，对这个过程不甚清楚的同学可以参考下。 关闭过程： 1、发起shutdown，发出SIGTERM信号 2、有必要的话，新建一个关闭线程(shutdown thread) 如果是客户端发起的关闭，则会新建一个专用的关闭线程 如 阅读全文
posted @ 2019-01-04 10:51 海东潮 阅读(4872) 评论(0) 推荐(0) 编辑
MySQL优化之Explain命令解读，optimizer_trace
摘要：简述: explain为mysql提供语句的执行计划信息。可以应用在select、delete、insert、update和place语句上。explain的执行计划，只是作为语句执行过程的一个参考，实际执行的过程不一定和计划完全一致，但是执行计划中透露出的讯息却可以帮助选择更好的索引和写出更优化的 阅读全文
posted @ 2019-01-03 17:12 海东潮 阅读(2783) 评论(0) 推荐(0) 编辑
使用Amanda ZRM备份远程MySQL数据库
摘要：本文写道最后的时候，我才发现ZRM for MySQL的一个致命问题，就我目前的理解和测试来看，它恢复数据的时候是采取覆盖的方式，举个例子，假定某台数据库服务器上有两个数据库test1,test2，你备份了这两个数据库，某一天，test2数据库里的某一个表坏了，那么它无法做到仅仅只是恢复损坏的表，甚 阅读全文
posted @ 2019-01-02 18:49 海东潮 阅读(624) 评论(0) 推荐(0) 编辑
类Unix上5个最佳开源备份工具 Bacula/Amanda/Backupninja/Backuppc/UrBackup
摘要：当为一个企业选择备份工具的时候，你都考虑什么呢？确定你正在部署的软件具有下面的特性 开源软件 – 你务必要选择那些源码可以免费获得，并且可以修改的软件。确信可以恢复你的数据，即使是软件供应商/项目停止继续维护这个软件，或者是拒绝继续为这个软件提供补丁。 跨平台支持 – 确定备份软件可以很好的运行各种 阅读全文
posted @ 2019-01-02 18:47 海东潮 阅读(2794) 评论(0) 推荐(1) 编辑
获取 MySQL 崩溃时的 core file
摘要：对于一般进程，要让进程崩溃时能生成 core file 用于调试，只需要设置 rlimit 的 core file size > 0 即可。比如，用在 ulimit -c unlimited 时启动程序。 对 MySQL 来说，由于 core file 中会包含表空间的数据，所以默认情况下为了安全， 阅读全文
posted @ 2019-01-02 18:39 海东潮 阅读(721) 评论(0) 推荐(0) 编辑
使用mysqldump备份时为什么要加上 -q 参数（5.7默认为on）
摘要：使用mysqldump备份时为什么要加上 -q 参数（5.7默认为on） 写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。 先来看看 mysqldump -help 中，关于 -q 参数的解释： 简言之，就是说加上 -q 后，不会 阅读全文
posted @ 2019-01-02 17:59 海东潮 阅读(2231) 评论(0) 推荐(0) 编辑
关联与下钻：快速定位MySQL性能瓶颈的制胜手段
摘要：本文根据DBAplus社群〖2018年1月6日北京开源与架构技术沙龙〗现场演讲内容整理而成。 讲师介绍 李季鹏 新炬网络数据库专家 专注于MySQL数据库性能管理及相关解决方案，目前主要从事MySQL性能分析工具的设计与研发工作。 目前我从事的是MySQL的技术研究并让其实现产品化的工作，所以给大家 阅读全文
posted @ 2019-01-02 17:55 海东潮 阅读(290) 评论(0) 推荐(0) 编辑
MySQL安全策略
摘要：0、导读 MySQL被运用于越来越多的业务中，在关键业务中对数据安全性的要求也更高，如何保证MySQL的数据安全？ MySQL被运用于越来越多的业务中，在关键业务中对数据安全性的要求也更高，如何保证MySQL的数据安全。 数据安全如果只靠MySQL应用层面显然是不够的，是需要在多个层面来保护的，包括 阅读全文
posted @ 2019-01-02 17:35 海东潮 阅读(1233) 评论(0) 推荐(0) 编辑
减少MySQL的Sleep进程有效方法
摘要：经常遇到很多朋友问到，他的MySQL中有很多Sleep进程，严重占用MySQL的资源，现在分析一下出现这种现象的原因和解决办法： 1，通常来说，MySQL出现大量Sleep进程是因为采用的PHP的MySQL长链接数据库方式，即使用了mysql_pconnect来打开链接数据库，解决办法就是使用“短” 阅读全文
posted @ 2019-01-02 17:10 海东潮 阅读(864) 评论(0) 推荐(0) 编辑
详细分析MySQL事务日志(redo log和undo log)
摘要：innodb事务日志包括redo log和undo log。redo log是重做日志，提供前滚操作，undo log是回滚日志，提供回滚操作。 undo log不是redo log的逆向过程，其实它们都算是用来恢复的日志：1.redo log通常是物理日志，记录的是数据页的物理修改，而不是某一行或 阅读全文
posted @ 2019-01-02 17:07 海东潮 阅读(15643) 评论(0) 推荐(7) 编辑
Ansible自动化运维工具使用
摘要：概述本文描述自动化运维工具 Ansible 的安装及基础使用方法，包含： Centos 下的安装主机配置Ad-Hoc command（命令行执行）Playbook （任务剧本）Ansible 和 Saltstack 是目前主流的两个自动化运维工具，都可以用于同时对大量主机进行系统配置，应用部署等工作 阅读全文
posted @ 2019-01-01 10:01 海东潮 阅读(580) 评论(0) 推荐(0) 编辑
十个强大的DevOps基础设施自动化工具，不容错过
摘要：Devops基础设施自动化的工具 有许多工具用于基础设施自动化。使用哪个工具决定于体系结构和基础设施的需求。下面我们列出了一些伟大的工具，用于不同类别配置管理、编制、持续集成、监控等。 1.Chef Chef是一个基于ruby开发的配置管理工具。你可能会遇到“基础设施代码”这个词，这意味着配置管理。 阅读全文
posted @ 2019-01-01 09:49 海东潮 阅读(1203) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示