使用sysbench 0.5 对mysql 进行性能、压力测试

sysbench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下的数据库负载情况。
目前sysbench代码托管在launchpad上,项目地址:https://launchpad.net/sysbench(原来的官网 http://sysbench.sourceforge.net 已经不可用),源码采用bazaar管理。

一、 下载源码包
安装epel包后以便安装bzr客户端:

rpm -Uvh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

随着时间的推移及版本的更新,epel 的rpm包的地址会发生改变,但是只要域名不变,我们就可以通过

网址 http://dl.fedoraproject.org/pub/epel 一个目录一个目录的查找到我们需要的epel 安装包。

然后就可以开始安装bzr客户端了:

yum install bzr

之后,就可以开始用bzr客户端下载tpcc-mysql源码了。

cd /tmp
bzr branch lp:sysbench

 

sysbench支持以下几种测试模式:

1、CPU运算性能
2、磁盘IO性能
3、调度程序性能
4、内存分配及传输速度
5、POSIX线程性能
6、数据库性能(OLTP基准测试)
目前sysbench主要支持 mysql,drizzle,pgsql,oracle 等几种数据库。

如果需要测试PostgreSQL、Oracle,则在configure时需要加上 --with-oracle 或者 --with-pgsql 参数

二、编译安装

  在编译安装之前,有些依赖包需要安装,我安装时只遇到以下几个。如果有需要其他的请自行补充:

 

 yum install -y automake libtool

 

编译非常简单,可参考 README 文档,简单步骤如下:

cd /tmp/sysbench
./autogen.sh
./configure --prefix=/usr/local --with-mysql-includes=/usr/include/mysql/ --with-mysql-libs=/usr/lib/mysql/ && make && make install

说明:

  --with-mysql-include : 指定 mysql 头文件的路径。一般是 针对mysql 数据环境变量的$BASEDIR/inlucde

      --with-mysql-libs:       指定mysql 库文件的路径,一般是针对mysql 数据环境变量的$BASEDIR/lib

  --prefix:                     指定可执行文件的存放路径

 
# 如果 make 没有报错,就会在 sysbench 目录下生成二进制命令行工具 sysbench
sysbench]# ls -la sysbench/sysbench

-rwxr-xr-x 1 root root 1531821 Mar 2 07:28 sysbench/sysbench

 

三、参数说明

--test=tests/db/oltp.lua 表示调用 tests/db/oltp.lua 脚本进行 oltp 模式测试
--oltp_tables_count=20 表示会生成 10 个测试表
--oltp-table-size=1000000 表示每个测试表填充数据量为 1000000 
--rand-init=on 表示每个测试表都是用随机数据来填充的

--num-threads=8 表示发起 8个并发连接
--oltp-read-only=off 表示不要进行只读测试,也就是会采用读写混合模式测试
--report-interval=10 表示每10秒输出一次测试进度报告
--rand-type=uniform 表示随机类型为固定模式,其他几个可选随机模式:uniform(固定),gaussian(高斯),special(特定的),pareto(帕累托)
--max-time=120 表示最大执行时长为 120秒
--max-requests=0 表示总请求数为 0,因为上面已经定义了总执行时长,所以总请求数可以设定为 0;也可以只设定总请求数,不设定最大执行时长
--percentile=99 表示设定采样比例,默认是 95%,即丢弃1%的长请求,在剩余的99%里取最大值

即:模拟 对10个表并发OLTP测试,每个表1000万行记录,持续压测时间为 1小时。

真实测试场景中,建议持续压测时长不小于30分钟,否则测试数据可能不具参考意义。

四、OLTP测试前准备

关于sysbench命令的语法格式这里不做介绍了,可通过sysbench --help来查看。 如果第一次使用的话,只需要知道,前面所有的配置是一样的,只有最后一个参数决定了sysbench 所做的操作,比如:

  •   prepare :: 准备数据
  •   run       :: 进行测试
  •   cleanup :: 清除数据
  •   help      :: 查看帮助文档
  •   version  :: 查看版本信息

下面初始化测试库环境(总共20个测试表,每个表 100000 条记录,填充随机生成的数据):

cd /tmp/sysbench/sysbench
# 创建测试数据库
mysqladmin create sbtest
# 登录mysql ,给本地用户授权 mysql
grant all on sbtest to ''@'localhost';
flush privileges;
exit
# 准备初始数据 ./sysbench --mysql-host=10.10.100.191 --mysql-port=8066 --mysql-user=test --mysql-password=test123 --mysql-db=test --test=tests/db/oltp.lua --oltp_tables_count=20 --oltp-table-size=1000000 --rand-init=on prepare

 

四、进行OLTP测试

在上面初始化数据参数的基础上,再增加一些参数,即可开始进行测试了:

./sysbench --mysql-host=10.10.100.191 --mysql-port=8066 --mysql-user=test --mysql-password=test123 --mysql-db=TEST \
--test=tests/db/oltp.lua --oltp_tables_count=20 --oltp-table-size=1000000 --num-threads=8 --oltp-read-only=off \
--report-interval=20 --rand-type=uniform --max-time=600 --max-requests=0 --percentile=97 --oltp-skip-trx=on \
--mysql-ignore-errors=1062 run >> sysbench_oltpX_8_20180324.log

 需要说明的是,在对类似mycat等中间件进行测试的时候,如果不加上参数 --oltp-skip-trx=on,则所有读写操作都会在主库进行。从库无法实现读分流。而加上该参数后,又会出现1062,duplicate key (重复主键)的问题,所以还要再加上一个参数--mysql-ignore-errors 。 两具参数配合使用。

五、结果解读

OLTP test statistics:
queries performed:
read: 268982 #总select次数
write: 76852 #总的写入次数
other: 0
total: 345834 # 读写总次数
transactions: 0 (0.00 per sec.) # 总事务数(每秒事务数)
read/write requests: 345834 (576.23 per sec.) # 读写总次数
other operations: 0 (0.00 per sec.) # commit、unlock tables以及其他mutex的数量
ignored errors: 0 (0.00 per sec.)
reconnects: 0 (0.00 per sec.) # 重连次数

General statistics:
total time: 600.1663s # 本次测试总耗时
total number of events: 19213 # mysql-event 次数,
total time taken by event execution: 4800.3787s 
response time:
min: 138.81ms
avg: 249.85ms #平均影响时长(去除一定比例最长响应时长后的平均值,由参数percentile决定)
max: 1391.54ms
approx. 97 percentile: 401.68ms

Threads fairness:
events (avg/stddev): 2401.6250/9.87
execution time (avg/stddev): 600.0473/0.04

posted @ 2018-03-05 20:22  halberd.lee  阅读(640)  评论(0编辑  收藏  举报