iostat详解
1 iostat简介
iostat命令是Linux系统上查看I/O性能最基本的工具，其全称为 I/O statistics。iostat能统计磁盘活动情况，也能统计CPU使用情况。
iostat属于sysstat软件包，可以通过命令进行安装：
yum install sysstat -y
iostat数据的来源是Linux操作系统的/proc/diskstats：
cat /proc/diskstats
8 0 sda 239219 1806 37281259 2513275 904326 88832 50268824 26816609 0 4753060 29329105
8 1 sda1 338 0 53241 6959 154 0 5496 3724 0 6337 10683
8 2 sda2 238695 1797 37226458 2504489 620322 88832 50263328 25266599 0 3297988 27770221
8 16 sdb 1009117 481 1011773 127319 0 0 0 0 0 126604 126604
8 17 sdb1 1008792 480 1010929 127078 0 0 0 0 0 126363 126363
253 0 dm-0 1005 0 8040 15137 30146 0 241168 2490230 0 30911 2505369
253 1 dm-1 192791 0 35500457 2376087 359162 0 44095600 22949466 0 2312433 25325563
253 2 dm-2 47132 0 1717329 183565 496207 0 5926560 7348763 0 2517753 7532688
注意，procfs中的前三个字段：主设备号、从设备号、设备名。
从第四个字段开始，介绍的是该设备的相关统计：
iostat 1 3：每隔 1秒刷新显示，且显示3次
iostat -d sda1：显示指定磁盘信息
iostat -t：显示tty和Cpu信息
iostat -m：以M为单位显示所有信息
iostat -d -k 1 1：查看TPS和吞吐量信息
iostat -d -x -k 1 1：查看设备使用率（%util）、响应时间（await）
iostat -c 1 3：查看cpu状态，每隔 1秒刷新显示，且显示3次
iostat有以下缺陷：
iostat的输出结果大多数是一段时间内的平均值，因此难以反映峰值情况
iostat仅能对系统整体情况进行分析汇报，却不能针对某个进程进行深入分析。
iostat未单独统计IO处理信息，而是将IO处理时间和IO等待时间合并统计，因此包括await在内的指标并不能非常准确地衡量磁盘性能表现。
2 命令与参数项
2.1 命令格式
iostat[参数][时间][次数]
例如，iostat -d -x -k 1 3：每1s采集一次数据，显示3次，以kb为单位显示磁盘使用情况详细信息。
2.2 参数详解
-x 显示详细信息
-C 显示CPU使用情况，与-d选项互斥
-d 显示磁盘使用情况，与-C选项互斥
-k 以 KB 为单位显示
-m 以 M 为单位显示
-N 显示磁盘阵列(LVM) 信息
-n 显示NFS 使用情况
-p[磁盘] 显示磁盘和分区的情况
-t 显示终端和CPU的信息
-V 显示版本信息
3 输出项目说明
使用iostat后，结果面板如下：
[root@k8s-master ~]# iostat
Linux 3.10.0-1160.el7.x86_64 (k8s-master) 2021年12月28日 _x86_64_ (4 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
5.07 0.02 2.74 0.05 0.00 92.13
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 17.00 1.84 107.25 17965102 1046002151
dm-0 17.16 1.84 107.25 17932023 1045999467
dm-1 0.00 0.00 0.00 3240 0
3.1 cpu属性
iostat结果面板 avg-cpu 描述的是系统cpu使用情况：
%user：CPU处在用户模式下的时间百分比。
%nice：CPU处在带NICE值的用户模式下的时间百分比。
%system：CPU处在系统模式下的时间百分比。
%iowait：CPU等待输入输出完成时间的百分比。
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。
%idle：CPU空闲时间百分比。
3.2 磁盘属性
iostat结果面板 Device 项描述的是系统磁盘使用情况：
tps：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。“一次传输”意思是“一次I/O请求”。多个逻辑请求可能会被合并为“一次I/O请求”。“一次传输”请求的大小是未知的。
kB_read/s：每秒从设备（drive expressed）读取的数据量；
kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
kB_read：读取的总数据量；
kB_wrtn：写入的总数量数据量；
4 使用实例
4.1 查看磁盘详情
命令：iostat -d -x -k 1 1
[root@k8s-master ~]# iostat -d -x -k 1 1
Linux 3.10.0-1160.el7.x86_64 (k8s-master) 2021年12月28日 _x86_64_ (4 CPU)
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.16 0.07 16.94 1.84 107.25 12.83 0.07 3.90 190.94 3.18 0.15 0.26
dm-0 0.00 0.00 0.07 17.10 1.84 107.25 12.71 0.07 3.96 192.56 3.25 0.15 0.26
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 50.62 0.00 6.96 6.96 0.00 6.76 0.00
结果说明：
rrqm/s：每秒合并读操作的次数，如果两个读操作读取相邻的数据块时，可以被合并成一个，以提高效率。合并的操作通常是I/O scheduler（也叫elevator）负责的。
wrqm/s：每秒合并写操作的次数
r/s：每秒读操作的次数
w/s：每秒写操作的次数
rKB/s：每秒读取的字节数（KB）
wKB/s：每秒写入的字节数（KB）
rkB/s：每秒读K字节数，是 rsect/s 的一半,因为每扇区大小为512字节(需要计算)
wkB/s：每秒写K字节数，是 wsect/s 的一半(需要计算)
avgrq-sz：每个IO的平均扇区数，即所有请求的平均大小，以扇区（512字节）为单位
avgqu-sz：平均未完成的IO请求数量，即平均意义上的请求队列长度
await：平均每个IO所需要的时间，包括在队列等待的时间，也包括磁盘控制器处理本次请求的有效时间
r_await：每个读操作平均所需要的时间，不仅包括硬盘设备读操作的时间，也包括在内核队列中的时间。
w_wait：每个写操平均所需要的时间，不仅包括硬盘设备写操作的时间，也包括在队列中等待的时间。
svctm：表面看是每个IO请求的服务时间，不包括等待时间，但是实际上，这个指标已经废弃。实际上，iostat工具没有任何一输出项表示的是硬盘设备平均每次IO的时间。
%util：表示该设备有I/O（即非空闲）的时间比率，不考虑I/O有多少，只考虑有没有。
4.2 其他
iostat 1 3：每隔 1秒刷新显示，且显示3次
iostat -d sda1：显示指定磁盘信息
iostat -t：显示tty和Cpu信息
iostat -m：以M为单位显示所有信息
iostat -d -k 1 1：查看TPS和吞吐量信息
iostat -d -x -k 1 1：查看设备使用率（%util）、响应时间（await）
iostat -c 1 3：查看cpu状态，每隔 1秒刷新显示，且显示3次
5 深入解析
5.1 avgqu-sz
IO请求的队列长度，反映了系统磁盘任务处理的繁忙程度，该值越大，表示排队等待处理的IO请求越多。
平均队列长度的计算：
我们考虑如下的场景，如果同一时间来了250个IO请求，后续再也没有新的请求到来。这种情况下，每个请求处理时间都是4ms，那么所有IO的平均等待时间为：
平均等待时间 = 单个请求处理时间(1+2+3+4...+(请求总数-1))/请求总数
对于我们的例子来说，平均等待时间是 500ms，那么所有IO花费的总时间为250500 = 125000ms，这个时间除以1000ms，得到 125，即平均队列长度。
这个值很明显是符合直观的。排在队列最前端的IO认为，队列的长度是0，第2个IO认为队列的长度是1，第3个IO认为队列的长度是2，最后一个认为队列的长度是249。
5.2 await
await是单个I/O所消耗的时间，包括硬盘设备处理I/O的时间和I/O请求在kernel队列中等待的时间：
await = IO 平均处理时间 + IO在队列的平均等待时间
正常情况下队列等待时间可以忽略不计：
await = ((所有读IO的时间)+(所有写IO的时间))/((读请求的个数) + (写请求的个数))
这个值，多大算正常呢？
对于SSD，从0.0x毫秒到1.x毫秒不等，具体看产品手册。
对于机械硬盘，大致来说一万转的机械硬盘是8.38毫秒，包括寻道时间、旋转延迟、传输时间。
关于await的一个误区是，人们常常武断地认为，await值比较高，就认为磁盘性能差，其实，await这个值不能反映硬盘设备的性能。
我们考虑两种IO的模型：
250个IO请求同时进入等待队列
250个IO请求依次发起，待上一个IO完成后，发起下一个IO
第一种情况await高达500ms，第二个情况await只有4ms，但是都是同一块盘。
在实践中，要根据应用场景来判断await是否正常，如果I/O模式很随机、I/O负载比较高，会导致磁头乱跑，寻道时间长，那么相应地await要估算得大一些；如果I/O模式是顺序读写，只有单一进程产生I/O负载，那么寻道时间和旋转延迟都可以忽略不计，主要考虑传输时间，相应地await就应该很小，甚至不到1毫秒。
对磁盘阵列来说，因为有硬件缓存，写操作不等落盘就算完成，所以写操作的service time大大加快了，如果磁盘阵列的写操作不在一两个毫秒以内就算慢的了；读操作则未必，不在缓存中的数据仍然需要读取物理硬盘，单个小数据块的读取速度跟单盘差不多。
5.3 %util
%util表示该设备有I/O（即非空闲）的时间比率，不考虑I/O有多少，只考虑有没有。
很多初学者看到%util 等于100%就说硬盘能力到顶了，这种说法是错误的。
由于现代硬盘设备都有并行处理多个I/O请求的能力，所以%util即使达到100%也不意味着设备饱和了，举个简化的例子：
某硬盘处理单个I/O需要0.1秒，有能力同时处理10个I/O请求。
当10个I/O请求依次顺序提交的时候，需要1秒才能全部完成，在1秒的采样周期里%util达到100%。
而如果10个I/O请求一次性提交的话，0.1秒就全部完成，在1秒的采样周期里%util只有10%。
可见，即使%util高达100%，硬盘也仍然有可能还有余力处理更多的I/O请求，即没有达到饱和状态。那么iostat有没有哪个指标可以衡量硬盘设备的饱和程度呢？很遗憾，没有。
