随笔- 807 文章- 150 评论- 23 阅读- 151万

05 2019 档案

摘要：Mongodb账户管理介绍 Mongodb是一个schema free的非sql类分布式数据库，可以利用它做很多很灵活的存储和操作，最近了解了下它的账户机制，通过设置auth启动方式可以对所有登陆用户做各种操作的限定。认证方式登陆mongodb sudo ./bin/mongod --auth 阅读全文

posted @ 2019-05-31 11:43 xibuhaohao 阅读(353) 评论(0) 推荐(0) 编辑

MongoDB 备份与恢复

摘要：MongoDB的备份与恢复分类: NoSQL,故障解决,其他分类: NoSQL,故障解决,其他 1.1 MongoDB的常用命令 mongoexport / mongoimport mongodump / mongorestore 有以上两组命令在备份与恢复中进行使用。 1.1.1 导出工具mo 阅读全文

posted @ 2019-05-31 11:39 xibuhaohao 阅读(289) 评论(0) 推荐(0) 编辑

MySQL 查看用户授予的权限

摘要：转载自：https://www.cnblogs.com/wangchaoyuana/p/7545419.html 在MySQL中，如何查看一个用户被授予了那些权限呢？授予用户的权限可能分全局层级权限、数据库层级权限、表层级别权限、列层级别权限、子程序层级权限。具体分类如下：全局层级全局权限适用阅读全文

posted @ 2019-05-28 10:47 xibuhaohao 阅读(3720) 评论(0) 推荐(0) 编辑

Linux 不同方法查看进程消耗CPU IO 等

摘要：1、用top命令指定固定的PID 查询指定进程的PID 2、使用ps查询指定进程名或者PID的占用情况 10997为PID 0.0为CPU占用百分比（注意：如果有两个CPU，32核64线程，那么总占比是6400%） 0.1为内存占用百分比 3、查看更详细的内存占比 VmRSS为内存转载：https 阅读全文

posted @ 2019-05-27 17:31 xibuhaohao 阅读(889) 评论(0) 推荐(0) 编辑

Oracle 体系结构图

摘要：Oracle体系结构图详细图阅读全文

posted @ 2019-05-24 17:29 xibuhaohao 阅读(329) 评论(0) 推荐(0) 编辑

Oracle 后台进程（六）PMON进程

摘要：一、PMON简介二、PMON的工作内容如下： 1、监控后台进程运行状况 2、如果某些进程异常中断，PMON去释放会话资源以及占用的锁LOCK 3、更新事务表的标志以及清除事务XID的标记 4、清除异常中断会话在BUFFER CACHE占用的缓存 5、PMON也负责定期把数据库实例注册到监听器中三阅读全文

posted @ 2019-05-24 17:21 xibuhaohao 阅读(2720) 评论(0) 推荐(1) 编辑

Oracle 后台进程（五）SMON进程

摘要：转载自：刘相兵 Maclean Liu 文章你所不知道的后台进程 SMON 功能 SMON(system monitor process)系统监控后台进程，有时候也被叫做 system cleanup process，这么叫的原因是它负责完成很多清理(cleanup)任务。但凡学习过 Oracl 阅读全文

posted @ 2019-05-24 17:11 xibuhaohao 阅读(1063) 评论(0) 推荐(0) 编辑

Oracle 后台进程（四）CKPT进程

摘要：一、CKPT简介检查点是一个数据库事件，它把修改数据从高速缓存写入磁盘，并更新控制文件和数据文件。检查点分为三类：1）局部检查点：单个实例执行数据库所有数据文件的一个检查点操作，属于此实例的全部脏缓存区写入数据文件。触发命令：svmrgrl>alter system checkpoint loca 阅读全文

posted @ 2019-05-24 17:02 xibuhaohao 阅读(1591) 评论(0) 推荐(1) 编辑

Oracle 后台进程（三）LGWR进程

摘要：一、LGWR进程简介 LGWR，是Log Writer的缩写，也是一种后台进程。主要负责将日志缓冲内容写到磁盘的在线重做日志文件或组中。DBWn将dirty块写到磁盘之前，所有与buffer修改相关的redo log都需要由LGWR写入磁盘的在线重做日志文件(组)，如果未写完，那么DBWn会等待LG 阅读全文

posted @ 2019-05-24 16:51 xibuhaohao 阅读(3432) 评论(0) 推荐(0) 编辑

Oracle 后台进程（二）DBWR进程

摘要：一、DBWR进程介绍 DBWR进程执行将数据块缓冲区写入数据文件的工作，是负责缓冲存储管理的一个Oracle后台进程。在修改DB Cache中的某个缓冲区时，会将它标志为“DIRTY”，DBWR的主要任务将这些标为“DIRTY”的缓冲区写入磁盘，使缓冲区保持“CLEAN”。由于缓冲区填入数据库或被阅读全文

posted @ 2019-05-24 16:42 xibuhaohao 阅读(1306) 评论(0) 推荐(0) 编辑

Oracle 后台进程（一）简介

摘要：一、什么是Oracle数据库后台进程为了时系统性能最好并能够协调多个用户，多进程系统使用了一些附加进程，成为后台进程。在许多操作系统中，后台进程是在实例启动时自动建立的。一个Oracle实例可以包含许多后台进程，但是他们不是一直存在的。二、后台进程分类 1、DBWR 数据库写入进程 2、LGW 阅读全文

posted @ 2019-05-24 16:02 xibuhaohao 阅读(303) 评论(0) 推荐(0) 编辑

Oracle 进程前台进程-服务进程

摘要：一、什么是服务进程（前台进程）当用户运行一个应用进程时，系统会为用户运行的应用建立一个用户程序，该进程通过某种方式启动一个服务器进程（前台进程），用于处理连接到该实例的用户进程的请求。二、服务进程（前台进程）作用用户通过服务进程访问Oracle，可以执行下列任务 1）对应用所发出的SQL语句进阅读全文

posted @ 2019-05-24 15:55 xibuhaohao 阅读(311) 评论(0) 推荐(0) 编辑

Oracle 物理结构（六）文件-数据文件

摘要：Oracle 物理结构（六）文件-数据文件阅读全文

posted @ 2019-05-24 12:04 xibuhaohao 阅读(98) 评论(0) 推荐(0) 编辑

Oracle 物理结构（七）文件-归档日志文件

摘要：Oracle 物理结构（七）文件-归档日志文件阅读全文

posted @ 2019-05-24 12:04 xibuhaohao 阅读(142) 评论(0) 推荐(0) 编辑

Oracle 物理结构（五）文件-在线日志文件

摘要：一、什么是在线日志文件默认情况下redo的块大小是磁盘的扇区大小，通常是512字节，但是现在很多磁盘开始支持4k的扇区，oracle能自动识别并使用4k的大小，但是使用4k的redo block会有redo 浪费产生。 SELECT name, value FROM v$sysstat WHERE 阅读全文

posted @ 2019-05-24 12:03 xibuhaohao 阅读(266) 评论(0) 推荐(0) 编辑

Oracle 物理结构（四）文件-控制文件

摘要：一、什么是控制文件控制文件是Oracle数据库中十分重要的文件。Oracle启动时，首先会读取参数文件，读取了参数文件，实例所需要的共享内存和后台进程就可以启动了，这就是数据库实例的nomunt阶段。完成这个步骤后，就需要通过参数文件中的control_file参数，找到数据库的控制文件，然后打开阅读全文

posted @ 2019-05-24 12:01 xibuhaohao 阅读(554) 评论(0) 推荐(0) 编辑

Oracle 物理结构（三）文件-参数文件

摘要：一、参数文件介绍 Oracle中的参数文件是一个包含一系列参数以及参数对应值的操作系统文件。它们是在数据库实例启动时候加载的，决定了数据库的物理结构、内存、数据库的限制及系统大量的默认值、数据库的各种物理属性、指定数据库控制文件名和路径等信息，是进行数据库设计和性能调优的重要文件。二、spf 阅读全文

posted @ 2019-05-24 11:46 xibuhaohao 阅读(243) 评论(0) 推荐(0) 编辑

Oracle 物理结构（二）文件-口令文件

摘要：一、口令文件作用 1、口令文件基本介绍 Oracle数据库口令文件存放有超级用户的口令及其他特殊用户的用户名/口令。口令文件在数据库创建时，自动创建，存放在$ORACLE_HOME/dbs。此文件是初始化数据库管理工作的基础。在此后，可用orapwd手动创建。 2、口令文件作用拥有SYSDBA 阅读全文

posted @ 2019-05-24 11:38 xibuhaohao 阅读(416) 评论(0) 推荐(0) 编辑

Oracle 物理结构（一）文件-Inventory

摘要：一、Inventory的定义与作用 oraInventory存放的是Oracle软件安装的目录信息，Oralce的安装升级都需要用到这个目录，来看看Oracle文档中对这个目录的一点说明：All Oracle software installations rely on this directory 阅读全文

posted @ 2019-05-24 11:25 xibuhaohao 阅读(440) 评论(0) 推荐(0) 编辑

MySQL 锁（lock与latch）

摘要：一、什么是锁锁机制用于管理对共享资源的并发访问，它是数据库系统区别于文件系统的一个关键特性。数据库系统使用锁是为了支持对共享资源的并发访问，提供数据的完整性和一致性。 InnoDB存储引擎锁的实现和Oracle数据库非常类似，提供一致性的非锁定读、行级锁支持。行级锁没有相关额外的开销，并发可以同阅读全文

posted @ 2019-05-23 19:59 xibuhaohao 阅读(1973) 评论(0) 推荐(0) 编辑

MySQL 自适应哈希索引

摘要：一、介绍哈希（hash）是一种非常快的查找方法，一般情况下查找的时间复杂度为O（1）。常用于连接（join）操作，如Oracle中的哈希连接（hash join）。 InnoDB存储引擎会监控对表上索引的查找，如果观察到建立哈希索引可以带来速度的提升，则建立哈希索引，所以称之为自适应（adapti 阅读全文

posted @ 2019-05-23 17:28 xibuhaohao 阅读(357) 评论(0) 推荐(0) 编辑

MySQL Index 索引提示：force or use

摘要：一、使用索引提示（Index Hint）的条件 1、Mysql优化器错误的选择了某个索引。这种情况很少发生，需要做数据库的表、索引的统计分析。 2、某个SQL语句可选择的索引非常多，这个时候优化器执行计划时间的开销可能会大于SQL语句本身。二、实现Index Hint两种方式 1、Force In 阅读全文

posted @ 2019-05-23 17:24 xibuhaohao 阅读(250) 评论(0) 推荐(0) 编辑

Oracle 三种连接方式 NESTED LOOP HASH JOIN SORT MERGE JOIN

摘要：NESTED LOOP: 对于被连接的数据子集较小的情况，嵌套循环连接是个较好的选择。在嵌套循环中，内表被外表驱动，外表返回的每一行都要在内表中检索找到与它匹配的行，因此整个查询返回的结果集不能太大（大于1 万不适合），要把返回子集较小表的作为外表（CBO 默认外表是驱动表），而且在内表的连接字段上阅读全文

posted @ 2019-05-23 17:17 xibuhaohao 阅读(884) 评论(0) 推荐(0) 编辑

MySQL Bug#67718 浅谈B+树索引的分裂优化

摘要：原文链接：http://hedengcheng.com/?p=525 问题背景今天，看到Twitter的DBA团队发布了其最新的MySQL分支：Changes in Twitter MySQL 5.5.28.t9，此分支最重要的一个改进，就是修复了MySQL 的Bug #67718：InnoDB 阅读全文

posted @ 2019-05-23 16:06 xibuhaohao 阅读(421) 评论(0) 推荐(0) 编辑

Oracle shell监控小脚本

摘要：cat dba_cpu_monitor.sh ##CPU Monitorh=`hostname`cpu_used=`top -b -d 1 -n 2 | grep Cpu | awk 'NR>1'` user_cpu_used=`echo $cpu_used|awk '{print $2}'`sys 阅读全文

posted @ 2019-05-23 15:07 xibuhaohao 阅读(261) 评论(0) 推荐(0) 编辑

MySQL 源码编译安装脚本

摘要：cat mysql_init.shmysql_init.sh mysql_init.sh.20190401 mysql_init.sh.back20171030 mysql_init.sh.back20180327 mysql_init.sh.bak [admin@yifudevops-jenkin 阅读全文

posted @ 2019-05-23 15:02 xibuhaohao 阅读(301) 评论(0) 推荐(0) 编辑

Oracle 11.2 静默安装脚本

摘要：Oracle 11.2 静默安装脚本 cat db_init.sh.20190401 #!/bin/bash####安装Oracle所需依赖包function install_yum(){ yum -y install $1} i="perl-Data-Dumper lvm2* unzip rlwr 阅读全文

posted @ 2019-05-23 15:01 xibuhaohao 阅读(440) 评论(1) 推荐(1) 编辑

MySQL B+树的插入与删除

摘要：一、MySQL Index 的插入有如下B+树，其高度为2，每页可存放4条记录，扇出为5。所有记录都在叶子节点上，并且是顺序存放，如果用户从最左边的叶子节点开始顺序遍历，可以得到所有简直的顺序排序:5、10、15、20、25、30、50、55、60、65、75、80、85、90。 B+树的插入阅读全文

posted @ 2019-05-23 11:35 xibuhaohao 阅读(1734) 评论(0) 推荐(1) 编辑

MySQL组提交(group commit)

摘要：MySQL组提交(group commit) MySQL组提交(group commit) MySQL组提交(group commit) 前提：以下讨论的前提是设置MySQL的crash safe相关参数为双1： sync_binlog=1 innodb_flush_log_at_trx_com 阅读全文

posted @ 2019-05-22 19:03 xibuhaohao 阅读(3675) 评论(0) 推荐(0) 编辑

MySQL 热快问题解决

摘要：原文地址：http://blog.itpub.net/22664653/viewspace-1269948 一背景某个业务线商品开放开用户申请免费试用，当某个商品特别吸引人时，比如iPhone6 。肯定有一大波人为了少卖一个肾疯狂去抢申请资格。有甚者利用机器人申请注册,于是简单的申请操作变成阅读全文

posted @ 2019-05-22 16:40 xibuhaohao 阅读(586) 评论(0) 推荐(0) 编辑

Mysql 高可用集群PXC

摘要：PXC是percona公司的percona xtraDB cluster，简称PXC。它是基于Galera协议的高可用集群方案。可以实现多个节点间的数据同步复制以及读写，并且可保障数据库的服务高可用及数据强一致性。 PXC架构图：三个节点都已经启动成功，这样在任意一个节点上面，执行一条DML语句的阅读全文

posted @ 2019-05-22 11:53 xibuhaohao 阅读(426) 评论(0) 推荐(0) 编辑

MySQL 5.6 中一个重要的优化——Index Condition Pushdown，究竟push down了什么

摘要：1 问题描述一条SQL，在数据库中是如何执行的呢？相信很多人都会对这个问题比较感兴趣。当然，要完整描述一条SQL在数据库中的生命周期，这是一个非常巨大的问题，涵盖了SQL的词法解析、语法解析、权限检查、查询优化、SQL执行等一系列的步骤，简短的篇幅是绝对无能为力的。因此，本文挑选了其中的部分内容，阅读全文

posted @ 2019-05-21 16:08 xibuhaohao 阅读(332) 评论(0) 推荐(0) 编辑

MySQL 中Redo与Binlog顺序一致性问题

摘要：首先，我们知道在MySQL中，二进制日志是server层的，主要用来做主从复制和即时点恢复时使用的。而事务日志（redo log）是InnoDB存储引擎层的，用来保证事务安全的。现在我们来讨论一下MySQL主从复制过程中的一些细节问题，有关于主从复制可以看具体的章节。在了解了以上基础的内容后，我们阅读全文

posted @ 2019-05-21 14:23 xibuhaohao 阅读(3315) 评论(0) 推荐(0) 编辑

MySQL 中索引的长度的限制

摘要：单列索引的长度的限制 (5.6里面默认不能超过767bytes，5.7不超过3072bytes)：起因是256×3-1=767。这个3是字符最大占用空间（utf8）。但是在5.5以后，开始支持4个字节的uutf8。255×4>767, 于是增加了一个参数叫做 innodb_large_prefix 阅读全文

posted @ 2019-05-21 10:40 xibuhaohao 阅读(1282) 评论(0) 推荐(0) 编辑

开源分布式中间件 DBLE 快速入门指南

摘要：GitHub：https://github.com/actiontech/dble 官方中文文档：https://actiontech.github.io/dble-docs-cn/ 一、环境准备环境准备 DBLE 项目资料 DBLE 是企业级开源分布式中间件，江湖人送外号 “MyCat Plus 阅读全文

posted @ 2019-05-20 14:58 xibuhaohao 阅读(1564) 评论(0) 推荐(0) 编辑

MySQL 使用连接池封装pymysql

摘要：备注：1，记得先修改连接的数据库哦，（用navicat更方便一点）；2，分开两个py文件写入，运行sqlhelper.py文件一、在utils.py中写阅读全文

posted @ 2019-05-17 14:49 xibuhaohao 阅读(391) 评论(0) 推荐(0) 编辑

分布式锁的三种实现方式数据库、redis、zookeeper

posted @ 2019-05-16 16:45 xibuhaohao 阅读(1091) 评论(0) 推荐(0) 编辑

分布式锁的三种实现方式

摘要：大多数互联网系统都是分布式部署的，分布式部署确实能带来性能和效率上的提升，但为此，我们就需要多解决一个分布式环境下，数据一致性的问题。当某个资源在多系统之间，具有共享性的时候，为了保证大家访问这个资源数据是一致的，那么就必须要求在同一时刻只能被一个客户端处理，不能并发的执行，否者就会出现同一时刻有阅读全文

posted @ 2019-05-16 16:01 xibuhaohao 阅读(413) 评论(0) 推荐(0) 编辑

sharding-jdbc

摘要：sharding-jdbc sharding-jdbc 是一个开源的适用于微服务的分布式数据访问基础类库，它始终以云原生的基础开发套件为目标。 sharding-jdbc定位为轻量级java框架,使用客户端直连数据库,以jar包的形式提供服务,未使用中间层,无需额外部署,并无其他依赖,,可以理解为增阅读全文

posted @ 2019-05-16 15:40 xibuhaohao 阅读(541) 评论(0) 推荐(0) 编辑

MySQL Proxy 实现 MySQL 读写分离提高并发负载

摘要：工作拓扑： MySQL Proxy有一项强大功能是实现“读写分离”，基本原理是让主数据库处理写方面事务，让从库处理SELECT查询。 Amoeba for MySQL是一款优秀的中间件软件，同样可以实现读写分离，负载均衡等功能，并且稳定性也高于MySQL Proxy，有兴趣的可以测试一下。环境描述阅读全文

posted @ 2019-05-16 15:05 xibuhaohao 阅读(279) 评论(0) 推荐(0) 编辑

python 使用流式游标读取mysql怎么不会内存溢出

摘要：使用过java读取mysql大数据量的人应该都知道，如果查询时不开游标不设置一次性区大小的话，会一次性的把所有记录都拉取过来再进行后续操作，数据量一大就很容易出现OOM 如果用python去读取mysql也会遇到同样的问题那么这么在python中来设置使用游标呢也很简单这里使用pymysql来阅读全文

posted @ 2019-05-15 17:59 xibuhaohao 阅读(1102) 评论(0) 推荐(0) 编辑

数据仓库方案

摘要：为了方便公司的数据分析平台的独立运行和数据挖掘的探索，今年上半年在公司搭建了支持数据平台和数据挖掘的数据仓库；现就数据仓库的创建工作总结如下，供大家参考：首先介绍下数据仓库搭建的缘由：公司创建两年，用户量不多，也有几十万吧，就我来的时候，公司功能性平台基本上都有，例如：用户管理平台、订单管理平台阅读全文

posted @ 2019-05-15 17:16 xibuhaohao 阅读(332) 评论(0) 推荐(0) 编辑

MySQL percona-toolkit工具详解

摘要：一.检查和安装与Perl相关的模块 PT工具是使用Perl语言编写和执行的，所以需要系统中有Perl环境。依赖包检查命令为： rpm -qa perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL 如果有依赖包确实，可以使用下面的命令安阅读全文

posted @ 2019-05-15 16:50 xibuhaohao 阅读(928) 评论(0) 推荐(0) 编辑

percona-toolkit 主从工具 master-slave

摘要：复制类 pt-heartbeat 监控mysql复制延迟 pt-slave-delay 设定从落后主的时间 pt-slave-find 查找和打印所有mysql复制层级关系 pt-slave-restart 监控salve错误，并尝试重启salve pt-table-checksum 校验主从复制一阅读全文

posted @ 2019-05-15 16:33 xibuhaohao 阅读(397) 评论(0) 推荐(0) 编辑

MySQL sql join 算发

摘要：在MySQL中，可以使用批量密钥访问（BKA）连接算法，该算法使用对连接表的索引访问和连接缓冲区。 BKA算法支持：内连接，外连接和半连接操作，包括嵌套外连接。 BKA的优点：更加高效的表扫描提高了连接性能。此外，先前仅用于内连接的块嵌套循环（BNL）连接算法现已扩展，可用于外连接和半连接操作，包阅读全文

posted @ 2019-05-15 14:32 xibuhaohao 阅读(254) 评论(0) 推荐(0) 编辑

MySQL5.7.6 general tablespace

摘要：摘要：从5.7.6开始，增加了一种新的 tablespace模式(成为general tablespace)，实际上它和共享表空间比较类似：创建一个单独的ibd，ibd中包含多个表，兼容不同的格式。general tablespace没有库的概念，因此可以在多个库里建属于同一tablespace的阅读全文

posted @ 2019-05-14 11:27 xibuhaohao 阅读(210) 评论(0) 推荐(0) 编辑

MySQL Data Directory -- Creating file-per-table tablespaces outside the data directory

摘要：Creating file-per-table tablespaces outside the data directory 一、 Data Directory 1、应对情况当数据库所在空间不足的时候，通过新增一块磁盘，如何将新建的表放到新建磁盘，就可以用到MySQL的Data Directory 阅读全文

posted @ 2019-05-14 10:41 xibuhaohao 阅读(147) 评论(0) 推荐(0) 编辑

MongoDB 比较适用哪些业务场景

摘要：转载自：https://www.cnblogs.com/williamjie/p/10416294.html 在云栖社区上发起了一个 MongoDB 使用场景及运维管理问题交流探讨的技术话题，有近5000人关注了该话题讨论，这里就 MongoDB 的使用场景做个简单的总结，谈谈什么场景该用 Mong 阅读全文

posted @ 2019-05-10 17:16 xibuhaohao 阅读(369) 评论(0) 推荐(0) 编辑

MongoDB 运维实总结

摘要：一、MongoDB 集群简介 MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体介绍，可以查看官网 https://docs.mongodb.com/v3.4/introduction/。 [图片上传失阅读全文

posted @ 2019-05-10 17:12 xibuhaohao 阅读(549) 评论(0) 推荐(0) 编辑

RabbitMq、ActiveMq、Kafka和Redis做Mq对比

摘要：转载自：https://blog.csdn.net/qiqizhiyun/article/details/79848834 一、RabbitMq RabbitMQ是一个Advanced Message Queuing Protocol（AMQP）的开源实现，由以高性能、可伸缩性出名的Erlang写成阅读全文

posted @ 2019-05-10 16:33 xibuhaohao 阅读(611) 评论(0) 推荐(0) 编辑

kafka 介绍与使用

摘要：在介绍为什么使用kafka之前，我们有必要来了解一下什么是kafka？ 1. 什么是kafka？ Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Storm，Spark，Flink都支持与Kafka 阅读全文

posted @ 2019-05-10 16:27 xibuhaohao 阅读(245) 评论(0) 推荐(0) 编辑

为什么会需要消息队列(MQ)？

摘要：转载：https://www.cnblogs.com/xuyatao/p/6864109.html 为什么会需要消息队列(MQ)？ #################################################################################### 阅读全文

posted @ 2019-05-10 16:15 xibuhaohao 阅读(324) 评论(0) 推荐(0) 编辑

ES 集中式日志分析平台 Elastic Stack（介绍）

摘要：一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很阅读全文

posted @ 2019-05-10 15:52 xibuhaohao 阅读(5609) 评论(0) 推荐(0) 编辑

使用sysbench对MySQL进行压力测试

摘要：1.背景出自percona公司，是一款多线程系统压测工具，可以根据影响数据库服务器性能的各种因素来评估系统的性能。例如，可以用来测试文件IO，操作系统调度器，内存分配和传输速度，POSIX线程以及数据库服务器等。sysbench支持Lua脚本语言，Lua对各种测试场景的设置可以非常灵活。sysb 阅读全文

posted @ 2019-05-10 15:01 xibuhaohao 阅读(622) 评论(0) 推荐(0) 编辑

Tpcc-mysql 结果解读

摘要：原文：https://blog.csdn.net/frockee/article/details/87812329 1. 填坑经验不要使用tidb的tpcc测试程序（非标准，tidb修改过），使用： https://github.com/Percona-Lab/tpcc-mysql 2. tpcc 阅读全文

posted @ 2019-05-10 14:57 xibuhaohao 阅读(821) 评论(0) 推荐(0) 编辑

SQL审核 Inception 中小团队快速构建SQL自动审核系统

摘要：SQL审核与执行，作为DBA日常工作中相当重要的一环，一直以来我们都是通过人工的方式来处理，效率低且质量没办法保证。为了规范操作，提高效率，我们决定引入目前市面上非常流行的SQL自动审核工具Inception。花了一周看了inception官方文档并搭建了测试环境简单测试，又花了3天写了webui（阅读全文

posted @ 2019-05-10 14:40 xibuhaohao 阅读(1051) 评论(0) 推荐(0) 编辑

ELK构建MySQL慢日志收集平台详解

摘要：转载自：https://mp.weixin.qq.com/s/umH7ImZZVhdfgMdZ3Hz5fA ELK介绍 ELK最早是Elasticsearch（以下简称ES）、Logstash、Kibana三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为E 阅读全文

posted @ 2019-05-10 14:36 xibuhaohao 阅读(358) 评论(0) 推荐(0) 编辑

MySQL 几种性能测试的工具使用

摘要：近期由于要比较mysql及其分支mariadb, percona的性能，了解了几个这方面的工具，包括：mysqlslap sysbench tpcc-mysql，做一个整理，备忘，分享 1、mysqlslap 安装：简单，装了mysql就有了作用：模拟并发测试数据库性能。优点：简单，容易使用。阅读全文

posted @ 2019-05-10 10:32 xibuhaohao 阅读(436) 评论(0) 推荐(0) 编辑

MySQL 8.0.15 配置 MGR单主多从

摘要：转载自：http://www.cnblogs.com/zhangzihong/p/10443526.html 一、简介 MySQL Group Replication（简称MGR）字面意思是mysql组复制的意思,但其实他是一个高可用的集群架构,暂时只支持mysql5.7和mysql8.0版本. 是阅读全文

posted @ 2019-05-09 17:44 xibuhaohao 阅读(702) 评论(0) 推荐(0) 编辑

MySQL Group Replication-MGR集群简介

摘要：简介 MySQL Group Replication（简称MGR）字面意思是mysql组复制的意思,但其实他是一个高可用的集群架构,暂时只支持mysql5.7和mysql8.0版本. 是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案,提供了高可用、高扩展、高可靠的MySQL 阅读全文

posted @ 2019-05-09 17:44 xibuhaohao 阅读(867) 评论(0) 推荐(0) 编辑

MySQL5.7 （审计）通过init_connect + binlog 实现MySQL审计功能

摘要：转载自：https://blog.51cto.com/13941177/2173620 一、简介 1、概述 mysql本身已经提供了详细的sql执行记录–general log ，但是开启它有以下几个缺点： 1）无论sql有无语法错误，只要执行了就会记录，导致记录大量无用信息，后期的筛选有难度。 2 阅读全文

posted @ 2019-05-09 16:07 xibuhaohao 阅读(426) 评论(0) 推荐(0) 编辑

MySQL5.7 （审计）安装audit审计插件

摘要：转载自：https://blog.51cto.com/13941177/2173086 注意：安装插件的方式优缺点：缺点：日志信息比较大，对性能影响大。优点：对每一时刻每一用户的操作都有记录。搭建过程：到网站(https://bintray.com/version/files/mcafee 阅读全文

posted @ 2019-05-09 16:06 xibuhaohao 阅读(3266) 评论(0) 推荐(0) 编辑

MySQL 8.0.3性能大杀器 —— CATS 事务调度新算发

摘要：转载自：https://www.sohu.com/a/203933205_487483?sec=wd&spm=smpc.author.fd-d.2.1557386676880JSjtJwV 好多同学后台留言说姜老师最近技术文章写得少，主要原因是换了新工作之后正在熟悉相关业务，调整数据库架构，MGR调阅读全文

posted @ 2019-05-09 15:33 xibuhaohao 阅读(488) 评论(0) 推荐(0) 编辑

MySQL 5.7 GTID OOM bug案例分析 --大量压测后主从不同步

摘要：转载自：http://www.sohu.com/a/231766385_487483 MySQL 5.7是十年内最为经典的版本，这个观点区区已经表示过很多次。然而，经典也是由不断地迭代所打造的传奇。5.7给我印象最深的莫过于各种OOM，比如线程池、XA事务、information_schema等OO 阅读全文

posted @ 2019-05-09 15:20 xibuhaohao 阅读(244) 评论(0) 推荐(0) 编辑

MySQL 5.7 OOM问题诊断——就是这么简单

摘要：转载自：http://www.sohu.com/a/114903225_487483 Inside君最近把金庸先生的笑傲江湖重看了三遍，感慨良多。很多工作、管理、生活、学习上的问题都能在其中一窥究竟，而那是年轻时所不能体会的一种感悟。比如下面的这段话：转载自：http://www.sohu.com 阅读全文

posted @ 2019-05-09 14:54 xibuhaohao 阅读(938) 评论(0) 推荐(0) 编辑

Oracle 11g关闭用户连接审计

摘要：sys.aud$表数据量增长较快。这时，不想关闭数据库的审计，但是又不想频繁的清理sys.aud$表。可进行如下操作关闭数据库连接的审计 noaudit connect; 阅读全文

posted @ 2019-05-07 17:46 xibuhaohao 阅读(456) 评论(0) 推荐(0) 编辑

Oracle 数据库SQL审计

摘要：在我们日常的工作中，一些安全性的要求高的数据库需要增加审计操作，哪个用户什么时间做了什么操作。 1.打开数据库的审计 2.对数据库重启并查看 3.增加审计策略我们需要对数据库的caiwu用户的所有操作进行审计或者 4.取消审计 5.查询审计结果 6.将审计表查询开放给某个用户grant selec 阅读全文

posted @ 2019-05-07 16:47 xibuhaohao 阅读(495) 评论(0) 推荐(0) 编辑

Oracle 审计部署监控 user DML操作

摘要：1、移动audit表及索引到dbadmin表空间 alter table aud$ move tablespace DBADMIN;alter table AUDIT$ move tablespace DBADMIN;alter index I_AUDIT rebuild online tables 阅读全文

posted @ 2019-05-07 16:24 xibuhaohao 阅读(365) 评论(0) 推荐(0) 编辑

MySQL 一次非常有意思的SQL优化经历:从30248.271s到0.001s

摘要：转载自：https://www.toutiao.com/i6668275333034148356 一、背景介绍用的数据库是mysql5.6，下面简单的介绍下场景课程表：数据100条学生表：数据70000条学生成绩表SC：数据70w条查询目的：二、问题：查找语文考100分的考生查询阅读全文

posted @ 2019-05-06 11:42 xibuhaohao 阅读(253) 评论(0) 推荐(0) 编辑

Oracle 11g 自动收集统计信息

摘要：一、开启与关闭自动收集统计信息 1、查看是否开启 select client_name,status from dba_autotask_client; 2、开启 exec DBMS_AUTO_TASK_ADMIN.ENABLE(client_name => 'auto optimizer stat 阅读全文

posted @ 2019-05-04 15:37 xibuhaohao 阅读(938) 评论(0) 推荐(0) 编辑