随笔分类 - Tool
摘要：1. 摘要 数据作为一家公司的重要资产，其重要程度不言而喻。数据库为数据提供存取服务，担任着重要的角色，如果因数据误删、服务器故障、病毒入侵等原因导致数据丢失或服务不可用，会对公司造成重大损失，所以数据库备份是数据系统中最为重要的一环。 MySQL备份按照类型分为逻辑备份、物理备份、快照备份，本文将
阅读全文
摘要：简介 go-sniffer 可以抓包截取项目（MySQL、Redis、MongoDB）中的请求并解析成相应的语句，并格式化输出。类似于在之前的文章 MySQL抓包工具：MySQL Sniffer【转】中介绍的mysql-sniffer。而 go-sniffer 可以对更多数据库进行抓包分析，现在来介
阅读全文
摘要：本文来自：http://blog.itpub.net/28218939/viewspace-2658978/ 官当文档说明：https://dev.mysql.com/doc/internals/en/tracing-example.html 前言 我们在日常维护数据库的时候，如果遇到慢语句查询的时
阅读全文
摘要：背景 Redis作为目前全球最流行的KV存储，除了使用之外，还需要做好日常的运维工作。关于运维相关的工作，本文从以下方面进行介绍说明（Redis5.0以上）： 内存方面 客户端连接方面 工具方面 说明 内存方面 说明：第一个值是memory stats提供，第二个值是info memory提供 服务
阅读全文
摘要：背景 Redis是基于内存的KV数据库，内存作为存储介质，关注其内存的使用情况是一个重要指标，解析其内部的存储信息是给出优化方法和维护的最基本要求。解析内存有二种方法：第一个是通过scan遍历所有key，针对每个key进行分析（memory usage）；第二个是基于RDB文件进行所有key的分析（
阅读全文
摘要：背景 关于pt-query-digest的使用场景和方法在percona-toolkit 之 【pt-query-digest】介绍文章里已经做了详细说明，现在开始介绍下如何使用，以及常用的命令。 使用场景 在上一篇percona-toolkit 之 【pt-query-digest】介绍文章里已经
阅读全文
摘要：背景： 做为一个MySQL DBA，分析慢查询是日常主要的工作之一，之前一直使用mysqlsla作为分析慢查询的， 因为简单并且也能满足自己对慢查询分析的要求，对于另一个工具pt-query-digest并不熟悉，对于pt系列的工具之前也介绍过一些，Percona Toolkit确实厉害，整个全家桶
阅读全文
摘要：背景： 工作上需要删除或则归档一张大表，这时候用pt-archiver可以很好的满足要求，其不仅可以归档数据，还有删除、导出到文件等功能。并且在主从架构当中，可以兼顾从库（一个或则多个）进行归档，避免归档、删除数据时候压力太大，造成从库的延迟。该工具的目标是一个低影响，从表中剔除旧数据，而不会影响O
阅读全文
摘要：背景： 前面的2篇文章MySQL ProxySQL读写分离使用初探和MySQL ProxySQL读写分离实践大致介绍了ProxySQL的使用说明，从文章的测试的例子中看到ProxySQL使用SQLITE来进行配置的持久化，以及ProxySQL是一个CPU密集型的中间价，如果CPU比较空闲，可以像My
阅读全文
摘要：目的 在上一篇文章MySQL ProxySQL读写分离使用初探里初步介绍了ProxySQL的使用，本文继续介绍它的一些特点和DBProxy的性能差异。深入一些去了解ProxySQL，通过例子来说明ProxySQL的一些特性和用sysbench对其进行测试来对比分析说明。 环境： 测试 本文测试环境是
阅读全文
摘要：目的 在美团点评DBProxy读写分离使用说明文章中已经说明了使用目的，本文介绍ProxySQL的使用方法以及和DBProxy的性能差异。具体的介绍可以看官网的相关说明，并且这个中间件也是percona推的一款中间件。其特性和其他读写分离的中间件差距不大，具体的会在文中介绍。本文大致简单的介绍在使用
阅读全文
摘要：背景 在上一篇文章美团点评DBProxy读写分离使用说明实现了读写分离，但在最后提了二个问题：一是代理不管MySQL主从的复制状态，二是DBProxy本身是一个单点的存在。对于第一个可以通过自己定义的检测规则进行操作Admin接口，实现主从状态异常的处理。而对于第二个问题，需要再起一个DBProx
阅读全文
摘要：目的 因为业务架构上需要实现读写分离，刚好前段时间美团点评开源了在360Atlas基础上开发的读写分离中间件DBProxy，关于其介绍在官方文档已经有很详细的说明了，其特性主要有：读写分离、负载均衡、支持分表、IP过滤、sql语句黑名单、DBA平滑下线DB、从库流量配置、动态加载配置项。本文大致简单
阅读全文
摘要：背景： Open-Falcon 是小米运维部开源的一款互联网企业级监控系统解决方案，具体的安装和使用说明请见官网：http://open-falcon.org/，是一款比较全的监控。而且提供各种API，只需要把数据按照规定给出就能出图，以及报警、集群支持等等。 监控： 1) MySQL 收集信息脚本
阅读全文
摘要：背景： 关于MySQL的审核的重要性就不说明了，本文的自动化审核是通过Inception和SQLAdvisor实现的，具体的使用可以看它们各自的说明文档。这里大致介绍下如何部署和使用它们，其实该文章也可以说成是如何在ubuntu下安装Inception和SQLAdivsor。本文的web平台是通过p
阅读全文
摘要：本文来自：https://github.com/Qihoo360/mysql-sniffer 简介 MySQL Sniffer 是一个基于 MySQL 协议的抓包工具，实时抓取 MySQLServer 端的请求，并格式化输出。输出内容包访问括时间、访问用户、来源 IP、访问 Database、命令耗
阅读全文
摘要：背景： 项目中遇到有些脚本需要通过后台进程运行，保证不被异常中断，之前都是通过nohup、&、screen来实现，带着能否做一个start/stop/restart/reload的服务启动的想法找到里Supervisor。关于supervisor的介绍在网上大致搜索总结如下： Supervisor是
阅读全文
摘要：背景： 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令，对于处理大文件受CPU，IO等因素影响，对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理，本文将介绍通过python的mmap模块来实现对大文件的处理，来对比看他们的差异。 说明： mmap是一种虚拟内存
阅读全文
摘要：背景： 关于Fabric的介绍，可以看官网说明。简单来说主要功能就是一个基于Python的服务器批量管理库/工具，Fabric 使用 ssh（通过 paramiko 库）在多个服务器上批量执行任务、上传、下载。在使用Fabric之前，都用Python的paramiko模块来实现需求，相比之后发现Fa
阅读全文
摘要：背景： 关于物理备份工具xtrabackup的一些说明可以先看之前写过的文章说明：xtrabackup 安装使用。现在xtrabackup版本升级到了2.4.4，相比之前的2.1有了比较大的变化：innobackupex 功能全部集成到 xtrabackup 里面，只有一个 binary，另外为了使
阅读全文