fio使用
简介
FIO是测试IOPS的非常好的工具，用来对磁盘进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。FIO是一个可以产生很多线程或进程并执行用户指定的特定类型I/O操作的工具，FIO的典型用途是编写和模拟的I/O负载匹配的作业文件。也就是说FIO 是一个多线程io生成工具，可以生成多种IO模式，用来测试磁盘设备的性能（也包含文件系统：如针对网络文件系统 NFS 的IO测试）
安装
sudo apt-get install libaio-dev
sudo apt-get install fio
参数说明
filename=/dev/sdb1 测试文件名称，通常选择需要测试的盘的data目录。
direct=1 是否使用directIO，测试过程绕过OS自带的buffer，使测试磁盘的结果更真实。Linux读写的时候，内核维护了缓存，数据先写到缓存，后面再后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快，但是一旦掉电缓存里的数据就没了。所以有一种模式叫做DirectIO，跳过缓存，直接读写SSD。
rw=randwrite 测试随机写的I/O
rw=randrw 测试随机写和读的I/O
bs=16k 单次io的块文件大小为16k
bsrange=512-2048 同上，提定数据块的大小范围
size=5G 每个线程读写的数据量是5GB。
numjobs=1 每个job（任务）开1个线程，这里用了几，后面每个用-name指定的任务就开几个线程测试。所以最终线程数=任务数（几个name=jobx）* numjobs。
name=job1：一个任务的名字，重复了也没关系。如果fio -name=job1 -name=job2，建立了两个任务，共享-name=job1之前的参数。-name之后的就是job2任务独有的参数。
thread 使用pthread_create创建线程，另一种是fork创建进程。进程的开销比线程要大，一般都采用thread测试。
runtime=1000 测试时间为1000秒，如果不写则一直将5g文件分4k每次写完为止。
ioengine=libaio 指定io引擎使用libaio方式。libaio：Linux本地异步I/O。请注意，Linux可能只支持具有非缓冲I/O的排队行为（设置为“direct=1”或“buffered=0”）；rbd:通过librbd直接访问CEPH Rados
iodepth=16 队列的深度为16.在异步模式下，CPU不能一直无限的发命令到SSD。比如SSD执行读写如果发生了卡顿，那有可能系统会一直不停的发命令，几千个，甚至几万个，这样一方面SSD扛不住，另一方面这么多命令会很占内存，系统也要挂掉了。这样，就带来一个参数叫做队列深度。
Block Devices（RBD），无需使用内核RBD驱动程序（rbd.ko）。该参数包含很多ioengine，如：libhdfs/rdma等
rwmixwrite=30 在混合读写的模式下，写占30%
group_reporting 关于显示结果的，汇总每个进程的信息。
此外
lockmem=1g 只使用1g内存进行测试。
zero_buffers 用0初始化系统buffer。
nrfiles=8 每个进程生成文件的数量。
磁盘读写常用测试点：
- Read=100% Ramdon=100% rw=randread (100%随机读)
- Read=100% Sequence=100% rw=read （100%顺序读）
- Write=100% Sequence=100% rw=write （100%顺序写）
- Write=100% Ramdon=100% rw=randwrite （100%随机写）
- Read=70% Sequence=100% rw=rw, rwmixread=70, rwmixwrite=30
（70%顺序读，30%顺序写） - Read=70% Ramdon=100% rw=randrw, rwmixread=70, rwmixwrite=30
(70%随机读，30%随机写)
fio例子
lj@root123:~/fio$ sudo fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=read -filename=/dev/nvme0n1 -name="BS 4KB read test" -size=1G -iodepth=16 -runtime=60
BS 4KB read test: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=16
fio-3.16
Starting 1 thread
BS 4KB read test: (groupid=0, jobs=1): err= 0: pid=756239: Thu Dec 8 04:27:19 2022
read: IOPS=379k, BW=1480MiB/s (1552MB/s)(1024MiB/692msec)
slat (nsec): min=861, max=40494, avg=1437.56, stdev=856.63
clat (usec): min=10, max=8325, avg=40.30, stdev=65.39
lat (usec): min=11, max=8333, avg=41.90, stdev=65.60
clat percentiles (usec):
| 1.00th=[ 34], 5.00th=[ 34], 10.00th=[ 35], 20.00th=[ 35],
| 30.00th=[ 35], 40.00th=[ 35], 50.00th=[ 36], 60.00th=[ 36],
| 70.00th=[ 36], 80.00th=[ 37], 90.00th=[ 63], 95.00th=[ 64],
| 99.00th=[ 70], 99.50th=[ 71], 99.90th=[ 165], 99.95th=[ 165],
| 99.99th=[ 265]
bw ( MiB/s): min= 1391, max= 1391, per=94.02%, avg=1391.30, stdev= 0.00, samples=1
iops : min=356174, max=356174, avg=356174.00, stdev= 0.00, samples=1
lat (usec) : 20=0.01%, 50=83.11%, 100=16.73%, 250=0.15%, 500=0.01%
lat (msec) : 10=0.01%
cpu : usr=35.17%, sys=63.53%, ctx=268, majf=0, minf=17
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=262144,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=16
Run status group 0 (all jobs):
READ: bw=1480MiB/s (1552MB/s), 1480MiB/s-1480MiB/s (1552MB/s-1552MB/s), io=1024MiB (1074MB), run=692-692msec
Disk stats (read/write):
nvme0n1: ios=243703/0, merge=0/0, ticks=2117/0, in_queue=128, util=87.58%
io=执行了多少M的IO
bw=平均IO带宽
iops=IOPS
runt=线程运行时间
slat=提交延迟，提交该IO请求到kernel所花的时间（不包括kernel处理的时间）
clat=完成延迟, 提交该IO请求到kernel后，处理所花的时间
lat=响应时间
bw=带宽
cpu=利用率
IO depths=io队列
IO submit=单个IO提交要提交的IO数
IO complete=Like the above submit number, but for completions instead.
IO issued=The number of read/write requests issued, and how many of them were short.
IO latencies=IO完延迟的分布
io=总共执行了多少size的IO
aggrb=group总带宽
minb=最小.平均带宽.
maxb=最大平均带宽.
mint=group中线程的最短运行时间.
maxt=group中线程的最长运行时间.
ios=所有group总共执行的IO数.
merge=总共发生的IO合并数.
ticks=Number of ticks we kept the disk busy.
io_queue=花费在队列上的总共时间.
util=磁盘利用率
fio 有很多测试任务配置文件，在git工程 examples 文件夹中，我们可以使用命令行参数进行直接配置，也可以直接通过配置文件配置一次测试的内容。
更详细对fio输出说明请参考博文：Fio Output Explained
IO状态监控
进行磁盘测试的时候，我们可以使用iostat 等监控工具，查看所有磁盘当前的读写状态
监控磁盘IO命令：iostat –mx 1
Iostat介绍
iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。
iostat使用范例：
iostat -d -x -k 1 10
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 1.56 28.31 7.80 31.49 42.51 2.92 21.26 1.46 1.16 0.03 0.79 2.62 10.28
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 2.00 20.00 381.00 7.00 12320.00 216.00 6160.00 108.00 32.31 1.75 4.50 2.17 84.20
-d: 显示该设备的状态的参数；
-x：是一个比较常用的选项，该选项将用于显示和io相关的扩展数据。
-k: 静态显示每秒的统计（单位kilobytes ）
1: 第一个数字表示每隔1秒刷新一次数据显示。
10：第二个数字表示总共的刷新次数
