09 2016 档案
摘要：预制语句的SQL语法基于三个SQL语句： PREPARE stmt_name FROM preparable_stmt; EXECUTE stmt_name [USING @var_name [, @var_name] ...]; {DEALLOCATE | DROP} PREPARE stmt_n
阅读全文
摘要：Part1:写在最前 在MysQL5.6版本中，可以把undo log 回滚日志分离到一个单独的表空间里；其缺点是不能回收空间大小，until MysQL5.7，but MariadDB10.1暂不支持。 本文介绍并演示MysQL5.7是如何在线收缩undo log的。 undo log日志是保存在
阅读全文
摘要：Part1:谁干的？ 做DBA的经常会遇到，一些表被误操作了，被truncate、被delete、甚至被drop。引起这方面的原因大多数都是因为人为+权限问题导致的。一些公共账户，例如ceshi账户，所有的人都可以进行操作，由这些公共账户引起的误操作，你在办公室大喊：谁把我的表删了？8成不会有人回应
阅读全文
摘要：MySQL 的CAST()和CONVERT()函数可用来获取一个类型的值，并产生另一个类型的值。两者具体的语法如下： 1、CAST(value as type) 就是CAST(xxx AS 类型) 2、CONVERT(value, type) 就是CONVERT(xxx,类型) 但是要特别注意,可以
阅读全文
摘要：sysbench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。关于这个项目的详细介绍请看：https://github.com/akopytov/sysbench 。它主要包括以下几种方式的测试： sysbench的数据库OLTP测试支持MySQL、
阅读全文
摘要：innodb_flush_method这个参数控制着innodb数据文件及redo log的打开、刷写模式，对于这个参数，文档上是这样描述的： 有三个值：fdatasync(默认)，O_DSYNC，O_DIRECT 默认是fdatasync，调用fsync()去刷数据文件与redo log的buff
阅读全文
摘要：Since SQL_SLAVE_SKIP_COUNTER doesn’t work with GTID we need to find a way to ignore that transaction. The way to do it is creating a new empty transac
阅读全文
摘要：下面我们一起来看一篇解决mariadb grant ERROR 1045 (28000): Access denied for user问题，希望文章能够帮助到各位朋友。 用mariadb也有一段时间了，常用命令和语法，基本没变。比较复杂一点的，例如replication,也没有发现根mysql有什
阅读全文
摘要：问题产生线上一直有个历史遗留问题，最近DBA提了出来，所以跟了下代码，作了下简单分析，问题描述如下：在master-slave的环境下，对master上的某个表中的数据插入，会导致master-slave数据不一致的情况，通过反复试验，确定出现该情况的条件如下： master上设置了characte
阅读全文
摘要：Mydumper介绍 Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。 Mydumper主要特性： 轻量级C语言写的 执行速度比mysqldump快10倍 事务
阅读全文
摘要：当需要在机器之间传输400GB文件的时候，你就会非常在意传输的速度了。默认情况下(约125MB带宽，网络延迟17ms，Intel E5-2430，本文后续讨论默认是指该环境)，scp的速度约为40MB，传输400GB则需要170分钟，约3小时，如果可以加速，则可以大大节约工程师的时间，让攻城师们有更
阅读全文
摘要：一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式（以InnoDB引擎为主）完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的apply，所以难怪slave在高并发时会远落后m
阅读全文
摘要：导读 遇到SLAVE延迟很大，binlog apply position一直不动的情况如何排查？ 问题描述 收到SLAVE延迟时间一直很大的报警，于是检查一下SLAVE状态（无关状态我给隐去了）： 可以看到，延迟确实很大，而且从多次show slave status的结果来看，发现binlog的po
阅读全文
摘要：有时候我们需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。 假如是从MySql客户端调用，将客户端的文件导入，则需要使用 load local data in
阅读全文
摘要：0、导读 我们知道，MySQL里可以动态修改事务隔离级别（TRANSACTIOIN ISOLATION LEVEL），既可以加 GLOBAL 关键字直接修改全局的设置，也可以加 SESSION 关键字只修改当前会话的设置。那么，如果两个关键字都不加，会出现什么情况呢？ 1、调整事务隔离级别 MySQ
阅读全文
摘要：diff是Unix系统的一个很重要的工具程序。 它用来比较两个文本文件的差异，是代码版本管理的基石之一。你在命令行下，输入： $ diff <变动前的文件> <变动后的文件> diff就会告诉你，这两个文件有何差异。它的显示结果不太好懂，下面我就来说明，如何读懂diff。 一、diff的三种格式 由
阅读全文
摘要：以前从来没有接触过replace into这个语法，但是却看到很多人都在使用这个语法，并且应用在很多生产环境中，于是我也去学习了一下repalce into的用法。 关于replace 一句话：正常情况下表中有PRIMARY KEY或UNIQUE索引，新数据会替换老的数据。没有老数据则insert该
阅读全文
摘要：在做db基准测试的时候，qps,tps 是衡量数据库性能的关键指标。本文比较了网上的两种计算方式。先来了解一下相关概念。 概念介绍： QPS：Queries Per Second 查询量/秒，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理查询量多少的衡量标准。 TPS
阅读全文
摘要：1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户
阅读全文
摘要：摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统
阅读全文
摘要：消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中，为了集成分布式应用，开发者需要对异构网络环境下的
阅读全文
摘要：摘要 Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的
阅读全文
摘要：一、MySQL权限简介 关于mysql的权限简单的理解就是mysql允许你做你全力以内的事情，不可以越界。比如只允许你执行select操作，那么你就不能执行update操作。只允许你从某台机器上连接mysql，那么你就不能从除那台机器以外的其他机器连接mysql。 那么Mysql的权限是如何实现的呢
阅读全文
摘要：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。
阅读全文
摘要：向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。 解决的办法： 1、从其他非datanode节点上传 可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的nameno
阅读全文
摘要：说明：当开启mysql数据库主从时，会产生大量如mysql-bin.00000* log的文件，这会大量耗费您的硬盘空间。mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.000005…有三种解决方法：
阅读全文
摘要：:set paste vi/vim鼠标中键粘贴文本默认情况是自动缩进的，如果粘贴的是多行的文本，则第二行缩进1个tab，第三行缩进2个tab……依此类推，到最后文本会面目全非，解决办法是粘贴之前设置为粘贴(paste)模式。
阅读全文
摘要：在windows下，一个文件有：创建时间、修改时间、访问时间。而在Linux下，一个文件也有三种时间，分别是：访问时间、修改时间、状态改动时间。 两者有此不同，在Linux下没有创建时间的概念，也就是不能知道文件的建立时间，但如果文件建立后就没有修改过，修改时间=建立时间;如果文件建立后，状态就没有
阅读全文
摘要：现在MySQL运行的大部分环境都是在Linux上的，如何在Linux操作系统上根据MySQL进行优化，我们这里给出一些通用简单的策略。这些方法都有助于改进MySQL的性能。 闲话少说，进入正题。 一、CPU 首先从CPU说起。 你仔细检查的话，有些服务器上会有的一个有趣的现象：你cat /proc/
阅读全文
摘要：在LINUX 2.6中,有四种关于IO的调度算法,下面综合小结一下: 1) NOOP NOOP算法的全写为No Operation。该算法实现了最最简单的FIFO队列，所有IO请求大致按照先来后到的顺序进行操作。之所以说“大致”，原因是NOOP在FIFO的基础上还做了相邻IO请求的合并，并不是完完全
阅读全文
摘要：一、 1) 蓝色：表示经过优化的xfs mount时的参数defaults,noatime,nodiratime,nobarrier,discard,allocsize=256m,logbufs=8,attr2,logbsize=256k 2) 灰色：表示默认的xfs mount时的参数defaul
阅读全文
摘要：一、共享内存相关知识 所谓共享内存，就是多个进程间共同地使用同一段物理内存空间，它是通过将同一段物理内存映射到不同进程的 虚拟空间来实现的。由于映射到不同进程的虚拟空间中，不同进程可以直接使用，不需要像消息队列那样进行复制，所以共享内存的效率很高。共享内存可以通过mmap()映射普通文件机制来实现，
阅读全文
摘要：近期要在公司内部做个Linux IO方面的培训, 整理下手头的资料给大家分享下 各种IO监视工具在Linux IO 体系结构中的位置 源自 Linux Performance and Tuning Guidelines.pdf 1 系统级IO监控 iostat iostat -xdm 1 # 个人习
阅读全文
摘要：简介 Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。 输出信息含义 执行netstat后，其输出结果为 从整体上看，netstat的
阅读全文
摘要：背景 我们知道InnoDB使用buffer pool来缓存从磁盘读取到内存的数据页。buffer pool通常由数个内存块加上一组控制结构体对象组成。内存块的个数取决于buffer pool instance的个数，不过在5.7版本中开始默认以128M（可配置）的chunk单位分配内存块，这样做的目
阅读全文
摘要：一 目录 一 目录 二 背景 三 SSD 特性 四 基于 SSD 的数据库优化 五 A 项目 MySQL 主从关系图 六 程序切换之前调优 6.1 修改系统 IO 调度算法 6.2 修改 innodb_io_capacity = 4000 6.3 修改 innodb_max_dirty_pages_
阅读全文
摘要：Linux Cgroup blkio子系统的用法. blkio子系统支持的两种IO隔离策略 .1. (Completely Fair Queuing 完全公平队列)cfq io调度策略，支持按权重分配IO处理的时间片，从而达到IO在各资源组直接的调度和限制的目的，权重取值范围100-1000。通过以
阅读全文
摘要：Linux cgroup 有两个子系统支持CPU隔离。一个是cpu子系统，另一个是cpuset子系统。 cpu子系统根据进程设置的调度属性，选择对应的CPU资源调度方法 .1. 完全公平调度 Completely Fair Scheduler (CFS)原理详见https://www.kernel.
阅读全文
摘要：最近重新摊上了数据库，公司核心数据库天天 IO爆满，在研究用SAS 16*RAID10 ，还是RAID10 SSD*6, 还是FIO；no.1 principle, no raid-5 for database; 哎；万恶之源；no.2 principle, 大部分情况下，数据库不需要太高的CPU，
阅读全文
摘要：新功能 问题描述(Bug #18871046, Bug #72811)： 主要为了解决一个比较“古老”的MySQL在NUMA架构下的“swap insanity”问题，其表现为尽管为InnoDB buffer pool分配了足够多的内存，但依然会产生swap。而swap对数据库系统性能而言是比较致命
阅读全文
摘要：最近线上频繁的出现slave延时的情况，经排查发现为用户在删除数据的时候，由于表主键的主键的缺少，同时删除条件没有索引，或或者删除的条件过滤性极差，导致slave出现hang住，严重的影响了生产环境的稳定性，也希望通过这篇博客，来加深主键在innodb引擎中的重要性，希望用户在使用RDS，设计自己的
阅读全文
摘要：摘要： 由于ROW模式的复制已经广泛使用，但对于没有主键的表而言，如果发生大更新，在备库上会表现出极大的延迟，因为在binlog中产生的大量行记录将无法根据主键快速查找，最差的情况，需要对每条修改的记录进行全表扫描。 5.6已经解决了这个问题，可以只扫描一次表；5.5最新的版本只是在错误日志里输出了
阅读全文
摘要：1. 背景 为了提高系统的可用性和数据保护，MySQL通常采用master-slave的部署结构，简单高效，master和slave之间使用binlog来复制数据。 binlog支持statement和row格式，为了保证数据的一致性，通常采用row格式的event。master-slave的结构图
阅读全文
摘要：mysql中实现行号需要用到MYSQL的变量，因为MySql木有rownumber。 MYSQL中变量定义可以用 set @var=0 或 set @var:=0 可以用=或:=都可以，但是如果变量用在其他语句中，如:select那么必须用:=，因为=会被当作一个比较符号 这个很有用哦，比如要取到排
阅读全文
摘要：一 序言在运维线上M-M 架构的MySQL数据库时,接收的比较多关于主备延时的报警: 点击(此处)折叠或打开 check_ins_slave_lag (err_cnt:1)critical-slavelag on ins:3306=39438 点击(此处)折叠或打开 点击(此处)折叠或打开 chec
阅读全文
摘要：目录 目录 一 引子 二 MySQL UUID() 函数 三 复制中的 UUID()四 UUID_SHORT() 函数 3.1 实验环境介绍 3.2 搭建复制环境 3.3 基于 STATEMENT 模式 3.4 基于 MIXED 模式 3.5 基于 ROW 模式 五 小结 六 Ref 3.1 实验环
阅读全文
摘要：假设我们的用户表中存在一行.用户名字段为username.值为aaa.密码字段为pwd.值为pwd.. 下面我们来模拟一个用户登录的过程.. [php] view plain copy <?php $username = "aaa"; $pwd = "pwd"; $sql = "SELECT * F
阅读全文
摘要：今天遇到一个很棘手的问题，想临时存起来一部分数据，然后再读取。我记得学数据库理论课老师说可以创建临时表，不知道mysql有没有这样的功能呢？临时表在内存之中，读取速度应该比视图快一些。然后还需要将查询的结果存储到临时表中。下面是创建临时表以及插入数据的例子，以供大家参考。 A、临时表再断开于mysq
阅读全文
摘要：摘要 本次分享将从一次实际的负载均衡改造案例出发，通过介绍项目背景、选型思路、测试方法和问题分析等方面展开，总结负载均衡架构的一般套路和经验教训。 本次分享将从一次实际的负载均衡改造案例出发，通过介绍项目背景、选型思路、测试方法和问题分析等方面展开，总结负载均衡架构的一般套路和经验教训。 一、背景
阅读全文
摘要：New Features: 1221372: pt-online-schema-change now aborts with an error if the server is a slave, because this can break data consistency in case of r
阅读全文
摘要：对于在Shell中进行数字的计算，其实方法有很多，但是常用的方法都有其弱点： 1、bc bc应该是最常用的Linux中计算器了，简单方便，支持浮点。 看似在简单计算时候完美的bc，其实也有一个让我抓狂的地方，当然有可能有办法可以解决，只是我不知道而已，那就是…… 在出现整数部分为0的时候，这个0是不
阅读全文
摘要：GitHub正式宣布以开源的方式发布gh-ost：GitHub的MySQL无触发器在线更改表定义工具！ gh-ost是GitHub最近几个月开发出来的，目的是解决一个经常碰到的问题：不断变化的产品需求会不断要求更改MySQL表结构。gh-ost通过一种影响小、可控制、可审计、操作简单的方案来改变线上
阅读全文
摘要：1.1. 前言 对数据库数据进行备份都是日常的工作（虽然都是自动做的），备份中有一项必备的那就是binglog了。在工作中一般这些备份都会保留一段时间后归档。时间长了归档的数据将会非常大。这时候我们就需要考虑如何存储这些归档的binlog。 1.2. 思路 将需要归档的 binlog 使用 mysq
阅读全文
摘要：要查看MySQL运行状态，要优化MySQL运行效率都少不了要运行show status查看各种状态，下面是参考官方文档及网上资料整理出来的中文详细解释，不管你是初学mysql还是你是mysql专业级的dba，这都是值得看的. 转自：http://www.sandzhang.com/blog/2010
阅读全文
