linux服务器磁盘IO持续飙高排查

问题发现

今天早上上班后无意间看看监控，发现有台机的磁盘IO持续飙高，瞬间有了种想看看到底是什么情况导致的念头，光想没用，直接开干...
通过堡垒机直接干到了那台机上...
yum -y install sysstat 进行安装iostat命令

cpu属性值说明：
%user：CPU处在用户模式下的时间百分比。
%nice：CPU处在带NICE值的用户模式下的时间百分比。
%system：CPU处在系统模式下的时间百分比。
%iowait：CPU等待输入输出完成时间的百分比。如该值过高，表示硬盘存在I/O瓶颈
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。
%idle：CPU空闲时间百分比。如该值高，表示CPU较空闲，
如该值高但系统响应慢时，可能是CPU等待分配内存，应加大内存容量。
如该值持续低于10，表明CPU处理能力相对较低，系统中最需要解决的资源是CPU
 
tps：该设备每秒的传输次数
kB_read/s：每秒从设备（drive expressed）读取的数据量；
kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
kB_read：  读取的总数据量；
kB_wrtn：写入的总数量数据量；

由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的
 
Device：设备名称
rrqm/s：每秒合并到设备的读请求数。即delta(rmerge)/s 
wrqm/s：每秒合并到设备的写入请求数。即delta(wmerge)/s 
r/s：每秒完成的读I/O设备次数。即delta(rio)/s 
w/s：每秒完成的写I/0设备次数。即delta(wio)/s 
rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。(需要计算)
wkB/s: 每秒写K字节数。是 wsect/s 的一半。(需要计算)
avgrq-sz：平均每次设备I/O操作的数据量(扇区为单位)。即delta(rsec+wsec)/delta(rio+wio) 
avgqu-sz：平均每次发送给设备的I/O队列长度。
await：平均每次IO请求等待时间。(包括等待队列时间和处理时间，毫秒为单位)
r_await：平均每次IO读请求等待时间。(包括等待队列时间和处理时间，毫秒为单位)
w_await：平均每次IO写请求等待时间。(包括等待队列时间和处理时间，毫秒为单位)
svctm：平均每次设备I/O操作的处理时间(毫秒)。警告！不要再相信这个字段值，这个字段将在将来的sysstat版本中删除。 
%util：一秒中有百分之多少的时间用于I/O操作，或者说一秒中有多少时间I/O队列是非空的。当该值接近100%时，设备饱和发生。
 
rsec/s (rkB/s, rMB/s)：每秒读取设备的扇区数(千字节、兆字节)。每扇区大小为512字节
wsec/s (wkB/s, wMB/s)：每秒写入设备的扇区数(千字节、兆字节)。每扇区大小为512字节

使用iotop命令找到IO占用高的进程

iotop -oP可看到比较详细信息，如：进程号，磁盘读取量，磁盘写入量，IO百分比，涉及到的命令是什么等

pidstat 命令

iotop -oP展示I/O统计，每秒更新一次
可见其中 mongod 命令占用了大量的读IO，之后可根据 PID 查看相关进程信息

.
.
.
.
游走在各发行版间老司机QQ群：905201396
不要嫌啰嗦的新手QQ群：756805267
Debian适应QQ群：912567610