随笔分类 - 随笔
摘要：背景 最近在学习PostgreSQL，看了用户权限管理文档，涉及到的知识点比较多，顺便写篇文章进行整理并不定时更新，也方便自己后续进行查阅。 说明 注意：创建好用户（角色）之后需要连接的话，还需要修改2个权限控制的配置文件（pg_hba.conf、pg_ident.conf）。并且创建用户（user
阅读全文
摘要：背景 在上一篇「MySQL高可用复制管理工具 —— Orchestrator介绍」中大致介绍了Orchestrator的功能、配置和部署，当然最详细的说明可以查阅官方文档。本文开始对Orchestrator的各方面进行测试和说明。 测试说明 环境介绍 服务器环境： 这里需要注意的是，orch检测主库
阅读全文
摘要：背景 在MySQL高可用架构中，目前使用比较多的是Percona的PXC，Galera以及MySQL 5.7之后的MGR等，其他的还有的MHA，今天介绍另一个比较好用的MySQL高可用复制管理工具：Orchestrator（orch）。 Orchestrator（orch）：go编写的MySQL高可
阅读全文
摘要：目的 在Redis Codis 部署安装的文章中，介绍了通过fe在web上搭建codis的基本步骤和方法，也介绍了codis-admin的相关说明，为了更好的熟悉codis-admin的使用，本文将使用codis-admin直接搭建codis集群（和fe进行相关的对比）。这样做的另一个目的是为实现
阅读全文
摘要：背景： 工作上需要删除或则归档一张大表，这时候用pt-archiver可以很好的满足要求，其不仅可以归档数据，还有删除、导出到文件等功能。并且在主从架构当中，可以兼顾从库（一个或则多个）进行归档，避免归档、删除数据时候压力太大，造成从库的延迟。该工具的目标是一个低影响，从表中剔除旧数据，而不会影响O
阅读全文
摘要：背景 关于Redis的高可用除了只身的Sentinel和Cluster之外，还有一个用的比较多的是Codis，由于公司的Redis大部分都使用Codis，本文就针对Codis进行相关的安装部署进行说明，来好好的认识Codis。 介绍 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来
阅读全文
摘要：背景： 作为一个DBA，大表的DDL的变更大部分都是使用Percona的pt-online-schema-change，本文说明下另一种工具gh-ost的使用：不依赖于触发器,是因为他是通过模拟从库,在row binlog中获取增量变更,再异步应用到ghost表的。在使用gh-ost之前，可以先看G
阅读全文
摘要：背景： 今天无意当中看到参数slave_exec_mode，从手册里的说明看出该参数和MySQL复制相关，是可以动态修改的变量，默认是STRICT模式（严格模式），可选值有IDEMPOTENT模式（幂等模式）。设置成IDEMPOTENT模式可以让从库避免1032（从库上不存在的键）和1062（重复键
阅读全文
摘要：背景： 关于物理备份工具xtrabackup的一些说明可以先看之前写过的文章说明：XtraBackup 安装使用和xtrabackup 使用说明（续），本篇文章将介绍xtrabackup在使用中的注意事项和如何全量、增量备份和恢复，包含TokuDB的备份（感谢吴总的推荐）。由于物理备份消耗的空间比较
阅读全文
摘要：背景： 前面的2篇文章MySQL ProxySQL读写分离使用初探和MySQL ProxySQL读写分离实践大致介绍了ProxySQL的使用说明，从文章的测试的例子中看到ProxySQL使用SQLITE来进行配置的持久化，以及ProxySQL是一个CPU密集型的中间价，如果CPU比较空闲，可以像My
阅读全文
摘要：目的 在上一篇文章MySQL ProxySQL读写分离使用初探里初步介绍了ProxySQL的使用，本文继续介绍它的一些特点和DBProxy的性能差异。深入一些去了解ProxySQL，通过例子来说明ProxySQL的一些特性和用sysbench对其进行测试来对比分析说明。 环境： 测试 本文测试环境是
阅读全文
摘要：目的 在美团点评DBProxy读写分离使用说明文章中已经说明了使用目的，本文介绍ProxySQL的使用方法以及和DBProxy的性能差异。具体的介绍可以看官网的相关说明，并且这个中间件也是percona推的一款中间件。其特性和其他读写分离的中间件差距不大，具体的会在文中介绍。本文大致简单的介绍在使用
阅读全文
摘要：背景 在上一篇文章美团点评DBProxy读写分离使用说明实现了读写分离，但在最后提了二个问题：一是代理不管MySQL主从的复制状态，二是DBProxy本身是一个单点的存在。对于第一个可以通过自己定义的检测规则进行操作Admin接口，实现主从状态异常的处理。而对于第二个问题，需要再起一个DBProx
阅读全文
摘要：目的 因为业务架构上需要实现读写分离，刚好前段时间美团点评开源了在360Atlas基础上开发的读写分离中间件DBProxy，关于其介绍在官方文档已经有很详细的说明了，其特性主要有：读写分离、负载均衡、支持分表、IP过滤、sql语句黑名单、DBA平滑下线DB、从库流量配置、动态加载配置项。本文大致简单
阅读全文
摘要：背景： Open-Falcon 是小米运维部开源的一款互联网企业级监控系统解决方案，具体的安装和使用说明请见官网：http://open-falcon.org/，是一款比较全的监控。而且提供各种API，只需要把数据按照规定给出就能出图，以及报警、集群支持等等。 监控： 1) MySQL 收集信息脚本
阅读全文
摘要：背景： 关于MySQL的审核的重要性就不说明了，本文的自动化审核是通过Inception和SQLAdvisor实现的，具体的使用可以看它们各自的说明文档。这里大致介绍下如何部署和使用它们，其实该文章也可以说成是如何在ubuntu下安装Inception和SQLAdivsor。本文的web平台是通过p
阅读全文
摘要：本文来自：https://github.com/Qihoo360/mysql-sniffer 简介 MySQL Sniffer 是一个基于 MySQL 协议的抓包工具，实时抓取 MySQLServer 端的请求，并格式化输出。输出内容包访问括时间、访问用户、来源 IP、访问 Database、命令耗
阅读全文
摘要：背景： 之前通过Redis Sentinel 高可用实现说明和Redis 复制、Sentinel的搭建和原理说明大致已经介绍了sentinel的原理和实现，本文再次做个简单的回顾，具体的信息见前面的两篇文章说明。本文要实现的sentinel是通过2个redis数据节点和3个sentinel节点来达到
阅读全文
摘要：背景： 项目中遇到有些脚本需要通过后台进程运行，保证不被异常中断，之前都是通过nohup、&、screen来实现，带着能否做一个start/stop/restart/reload的服务启动的想法找到里Supervisor。关于supervisor的介绍在网上大致搜索总结如下： Supervisor是
阅读全文
摘要：背景： 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令，对于处理大文件受CPU，IO等因素影响，对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理，本文将介绍通过python的mmap模块来实现对大文件的处理，来对比看他们的差异。 说明： mmap是一种虚拟内存
阅读全文