linux 安装 sysbench 和 使用

安装

执行 下载命令

curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

安装

sudo yum -y install sysbench

查看版本

sysbench --version

基于sysbench构造测试表和测试数据

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare

参数的大概意思

1、--db-driver=mysql：这个很简单，就是说他基于mysql的驱动去连接mysql数据库，你要是oracle，或者sqlserver，那自然就是其他的数据库的驱动了
2、--time=300：这个就是说连续访问300秒
3、--threads=10：这个就是说用10个线程模拟并发访问
4、--report-interval=1：这个就是说每隔1秒输出一下压测情况
5、--mysql-host=127.0.0.1：这是你要连接的sql服务连接
6、--mysql-port=3306：这是你要连接的sql服务端口
7、--mysql-user=test_user：这是你要连接的sql服务用户名
8、--mysql-password=test_user：这是你要连接的sql服务密码
9、--mysql-db=test_db --tables=20 --table_size=1000000：这一串的意思，就是说在test_db这个库里（）这里并不会自动创建数据库），构造20个测试表，每个测试表里构造100万条测试数据，测试表的名字会是类似于sbtest1，sbtest2这个样子的
10、oltp_read_write：这个就是说，执行oltp数据库的读写测试
11、--db-ps-mode=disable：这个就是禁止ps模式
12、最后有一个prepare，意思是参照这个命令的设置去构造出来我们需要的数据库里的数据，他会自动创建20个测试表，每个表里创建100万条测试数据，所以这个工具是非常的方便的。

对数据库进行360度的全方位测试

测试数据库的综合读写TPS

使用oltp_read_write模式 命令最后不是prepare，是run了，就是运行压测

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run

测试数据库的只读性能

使用oltp_read_only模式 命令最后oltp_read_write已经变成oltp_read_only了

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run

测试数据库的删除性能

使用oltp_delete

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_delete --db-ps-mode=disable run

测试数据路更新索引字段的性能

使用oltp_update_index

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_index --db-ps-mode=disable run

测试数据库的更新非索引的性能

使用oltp_update_non_index

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run

测试数据库的插入性能

使用oltp_insert

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_insert --db-ps-mode=disable run

测试数据库的写入性能

使用oltp_write_only

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run

清理数据

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

压测结果分析

按照我们上面的命令，我们是让他每隔1秒都会输出一次压测报告的，此时他每隔一秒会输出类似下面的一段东西：

[ 22s ] thds: 10 tps: 380.99 qps: 7312.66 (r/w/o: 5132.99/1155.86/1321.35) lat (ms, 95%): 21.33 err/s: 0.00 reconn/s: 0.00

解释一下这是什么意思，首先他说的这是第22s输出的一段压测统计报告，然后是其他的一些统计字段：

thds: 10	这个意思就是有10个线程在压测
tps: 380.99	这个意思就是每秒执行了380.99个事务
qps: 7610.20	这个意思就是每秒可以执行7610.20个请求
(r/w/o: 5132.99/1155.86/1321.35)	这个意思就是说，在每秒7610.20个请求中，有5132.99个请求是读请求，1155.86个请求是写请求，1321.35个请求是其他的请求，就是对QPS进行了拆解
at (ms, 95%): 21.33	这个意思就是说，95%的请求的延迟都在21.33毫秒以下
err/s: 0.00 reconn/s: 0.00	这两个的意思就是说，每秒有0个请求是失败的，发生了0次网络重连

这个压测结果会根据每个人的机器的性能不同有很大的差距，你要是机器性能特别高，那你可以开很多的并发线程去压测，比如100个线程，此时可能会发现数据库每秒的TPS有上千个，如果你的机器性能很低，可能压测出来你的TPS才二三十个，QPS才几百个，这都是有可能的。

另外在完成压测之后，最后会显示一个总的压测报告，我把解释写在下面了：

SQL statistics:

　　queries performed:

　　　　read: 1480084 // 这就是说在300s的压测期间执行了148万多次的读请求

　　　　write: 298457 // 这是说在压测期间执行了29万多次的写请求

　　　　other: 325436 // 这是说在压测期间执行了30万多次的其他请求

　　　　total: 2103977 // 这是说一共执行了210万多次的请求

　　transactions: 105180( 350.6 per sec. ) // 这是说一共执行了10万多个事务，每秒执行350多个事务

　　queries: 2103977 ( 7013.26 per sec. )// 这是说一共执行了210万多次的请求，每秒执行7000+请求

　　ignored errors: 0 (0.00 per sec.)

　　reconnects: 0 (0.00 per sec.)

// 下面就是说，一共执行了300s的压测，执行了10万+的事务

General staticstics:

　　total time: 300.0052s

　　total number of events: 105180

Latency (ms):

　　min: 4.32 // 请求中延迟最小的是4.32ms

　　avg: 13.42 // 所有请求平均延迟是13.42ms

　　max: 45.56 // 延迟最大的请求是45.56ms

　　95th percentile: 21.33 // 95%的请求延迟都在21.33ms以内

　　sum: 3003811.21 总共耗时xx ms

压测时如何观察机器的CPU负载情况?

先来看一个最最常用的监测linux机器性能的命令，就是top命令，直接在linux命令行只能够输入top指令就可以了，然后我们 这里来给大家解释一下，top指令展示出来的各种信息都是什么意思。
首先我们会看到如下一行信息:
top - 15:52:00 up 42:35, 1 user, load average: 0.15, 0.05, 0.01
这行信息是最直观可以看到机器的cpu负载情况的，首先15:52:00指的是当前时间，up 42:35指的是 机器已经运行了多长时间，1 user就是说当前机器有1个用户在使用。最重要的是load average: 0.15, 0.05, 0.01这行信息，他说的是CPU在1分钟、5分钟、15分钟内的负载情况。
这个CPU负载是什么意思？
假设我们是一个4核的CPU，此时如果你的CPU负载是0.15，这就说 明，4核CPU中连一个核都没用满，4核CPU基本都很空闲，没啥人在用。
如果你的CPU负载是1，那说明4核CPU中有一个核已经被使用的比较繁忙了，另外3个核还是比较空闲一些。要是CPU负载是 1.5，说明有一个核被使用繁忙，另外一个核也在使用，但是没那么繁忙，还有2个核可能还是空闲的。
如果你的CPU负载是4，那说明4核CPU都被跑满了，如果你的CPU负载是6，那说明4核CPU被繁忙的使用还不够处理当前的 任务，很多进程可能一直在等待CPU去执行自己的任务。
这个就是CPU负载的概念和含义。
所以大家现在知道了，上面看到的load average实际上就是CPU在最近1分钟，5分钟，15分钟内的平均负载数值，上面都是 0.15之类的，说明CPU根本就没怎么用。
但是如果你在压测的过程中，发现4核CPU的load average已经基本达到3.5，4了，那么说明几个CPU基本都跑满了，在满负 荷运转，那么此时你就不要再继续提高线程的数量和增加数据库的QPS了，否则CPU负载太高是不合理的。

压测时如何观察机器的内存负载情况?

在你执行top命令之后，中间我们跳过几行内容，可以看到如下一行内容:
Mem: 33554432k total, 20971520k used, 12268339 free, 307200k buffers
这里说的就是当前机器的内存使用情况，这个其实很简单，明显可以看出来就是总内存大概有32GB，已经使用了20GB左右的 内存，还有10多G的内存是空闲的，然后有大概300MB左右的内存用作OS内核的缓冲区了。
对于内存而言，同样是要在压测的过程中紧密的观察，一般来说，如果内存的使用率在80%以内，基本都还能接受，在正常范 围内，但是如果你的机器的内存使用率到了70%~80%了，就说明有点危险了，此时就不要继续增加压测的线程数量和QPS 了，差不多就可以了。

压测时如何观察机器的磁盘IO情况?

使用dstat命令，我们之前给大家讲过几个磁盘IO相关的指标，包括存储的IO吞吐量、IOPS这些，我们下面就看看这里是如何查看的。
使用dstat -d命令，会看到如下的东西:
-dsk/total-
read writ
10k 334k
0 1184k
0 1464k
0 1460k
0 1732k
0 1252k
0 1408k
0 1044k
0 1120k
在上面可以清晰看到，存储的IO吞吐量是每秒钟读取10kb的数据，每秒写入334kb的数据，像这个存储IO吞吐量基本上都不 算多的，因为普通的机械硬盘都可以做到每秒钟上百MB的读写数据量。
使用命令:dstat -r，可以看到如下的信息
--io/total-
read writ
0.13 13.1
0 190
意思就是读IOPS和写IOPS分别是多少，也就是说随机磁盘读取每秒钟多少次，随机磁盘写入每秒钟执行多少次，大 概就是这个意思，一般来说，随机磁盘读写每秒在两三百次都是可以承受的。
所以在这里，我们就需要在压测的时候密切观察机器的磁盘IO情况，如果磁盘IO吞吐量已经太高了，都达到极限的每秒上百 MB了，或者随机磁盘读写每秒都到极限的两三百次了，此时就不要继续增加线程数量了，否则磁盘IO负载就太高了。

压测时观察网卡的流量情况

使用dstat -n命令，可以看到如下的信息:
-net/total-
recv send
16k 17k
这个说的就是每秒钟网卡接收到流量有多少kb，每秒钟通过网卡发送出去的流量有多少kb，通常来说，如果你的机器使用的 是千兆网卡，那么每秒钟网卡的总流量也就在100MB左右，甚至更低一些。
所以我们在压测的时候也得观察好网卡的流量情况，如果网卡传输流量已经到了极限值了，那么此时你再怎么提高sysbench 线程数量，数据库的QPS也上不去了，因为这台机器每秒钟无法通过网卡传输更多的数据了。

脚本方式压测

#!/bin/bash

current_data=$(date "+%Y-%m-%d")
current_time=$(date "+%H:%M:%S")

#链接配置信息
dbhost="192.168.10.133"
dbport=15400
dbuser="reda"
dbpwd="qar2023!"
dbname=test_db
#单表数据量
tbsize=1000000
#表数据量
tables=1
# 线程数组
#threads=(1 5 10 15)
# 测试时间
sbtime=300

sbtestlogdir=/root/sblog         #存放log的地方，需要手动自己创建
path=/usr/share/sysbench/         #存放sysbench脚本point_select.lua等其他脚本的地方

for type in oltp_read_write oltp_read_only oltp_delete oltp_insert oltp_write_only
do
    #for thread in  ${threads[@]}
    for thread in 32 100 200
    do
        #测试结果输出日志
        sblogname=${sbtestlogdir}/sbtench_${type}_${thread}_$(date "+%Y%m%d%H%M%S").log
        echo "============================压测开始! 当前日期：$(date "+%Y-%m-%d %H:%M:%S")======================================
        压测地址:${dbhost},压测端口:${dbport}，压测数据量:${tables}张表每张表${tbsize}条数据量，压测时间：${sbtime} s,当前压测线程：${threads}
        日志地址:${sbtestlogdir}
        sysbench --db-driver=pgsql --time=${sbtime} --threads=${thread} --report-interval=1 --pgsql-host=${dbhost} \
        --pgsql-port=${dbport} --pgsql-user=${dbuser} --pgsql-password=${dbpwd}  --pgsql-db=${dbname} --tables=${tables} --table_size=${tbsize} \
         ${type} --db-ps-mode=disable run
        " >> ${sblogname}

        sysbench --db-driver=pgsql --time=${sbtime} --threads=${thread} --report-interval=1 --pgsql-host=${dbhost} \
        --pgsql-port=${dbport} --pgsql-user=${dbuser} --pgsql-password=${dbpwd}  --pgsql-db=${dbname} --tables=${tables} --table_size=${tbsize} \
         ${type} --db-ps-mode=disable run >> ${sblogname}

echo "============================压测结束! 当前时间：$(date "+%Y-%m-%d %H:%M:%S")====================================== " >> ${sblogname}
    
done