Linux 性能监控

-------------------------------------------------------------Linux性能监控----------------------------------------------------------------------

1. CPU ( vmstat mpstat )
1.1 vmstat 介绍
命令：vmstat 2 1 （2表示每个两秒采集一次服务器状态，1表示只采集一次）；
输出参数：r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数
目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态
很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。
swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗
内存的任务迁移到其他机器。
free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。
buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M
cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一
部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)
si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充
裕，一切正常。
so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。
bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以
一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒
bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。
in 每秒CPU的中断次数，包括时间中断
cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，
要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择
web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调
用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文
切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。
us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。
sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。
id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。
wt 等待IO CPU时间。
1.2 mpstat 介绍
mpstat是Multiprocessor Statistics的缩写，是实时系统监控工具。其报告与CPU的一些统计信息，这些信息存放在/proc/stat文件中。
在多CPUs系统里，其不但能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。mpstat最大的特点是：可以查看多核心
cpu中每个计算核心的统计数据；而类似工具vmstat只能查看系统整体cpu情况
命令: mpstat -P ALL 2
mpstat [-P {|ALL}] [internal [count]]
参数 解释
-P {|ALL} 表示监控哪个CPU， cpu在[0,cpu个数-1]中取值
internal 相邻的两次采样的间隔时间、
count 采样的次数，count只能和delay一起使用
当没有参数时，mpstat则显示系统启动以后所有信息的平均值。有interval时，第一行的信息自系统启动以来的平均信息。从
第二行开始，输出为前一个interval时间段的平均信息。
输出参数：
%user 在internal时间段里，用户态的CPU时间(%)，不包含nice值为负进程 (usr/total)*100
%nice 在internal时间段里，nice值为负进程的CPU时间(%) (nice/total)*100
%sys 在internal时间段里，内核时间(%) (system/total)*100
%iowait 在internal时间段里，硬盘IO等待时间(%) (iowait/total)*100
%irq 在internal时间段里，硬中断时间(%) (irq/total)*100
%soft 在internal时间段里，软中断时间(%) (softirq/total)*100
%idle 在internal时间段里，CPU除去等待磁盘IO操作外的因为任何原因而空闲的时间闲置时间(%) (idle/total)*100
---------------------------------------------------------------------------------------------------------------------------------------
2. Memory ( vmstat ：参考1.1)
---------------------------------------------------------------------------------------------------------------------------------------
3. IO （ top,vmstat,iostat,sar ）
3.1 iostat 介绍
iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示
自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。
命令：iostat -d -k 2 （参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilobytes为单位；
2表示，数据显示每隔2秒刷新一次。）（注：其它常用参数 -x -c ）
输出参数：
tps：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。"一次传输"
意思是"一次I/O请求"。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的。
kB_read/s：每秒从设备（drive expressed）读取的数据量；
kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
kB_read：读取的总数据量；
kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。
3.2 sar 介绍
sar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动
进行报告，包括：文件的读写情况、 系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。
命令: sar [options] [-A] [-o file] t [n]
t为采样间隔，n为采样次数，默认值是1；
-o file表示将命令结果以二进制格式存放在文件中，file 是文件名。
options 为命令行选项，sar命令常用选项如下：
-A：所有报告的总和
-u：输出CPU使用情况的统计信息
-v：输出inode、文件和其他内核表的统计信息
-d：输出每一个块设备的活动信息
-r：输出内存和交换空间的统计信息
-b：显示I/O和传送速率的统计信息
-a：文件读写情况
-c：输出进程统计信息，每秒创建的进程数
-R：输出内存页面的统计信息
-y：终端设备活动情况
-w：输出系统交换活动信息
输出参数：
---------------------------------------------------------------------------------------------------------------------------------
1. CPU资源监控
CPU：all 表示统计信息为所有 CPU 的平均值。
%user：显示在用户级别(application)运行使用 CPU 总时间的百分比。
%nice：显示在用户级别，用于nice操作，所占用 CPU 总时间的百分比。
%system：在核心级别(kernel)运行所使用 CPU 总时间的百分比。
%iowait：显示用于等待I/O操作占用 CPU 总时间的百分比。
%steal：管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。
%idle：显示 CPU 空闲时间占用 CPU 总时间的百分比。

1. 若 %iowait 的值过高，表示硬盘存在I/O瓶颈
2. 若 %idle 的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量
3. 若 %idle 的值持续低于1，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU 。

如果要查看二进制文件test中的内容，需键入如下sar命令：sar -u -f test
---------------------------------------------------------------------------------------------------------------------------------
2. inode、文件和其他内核表监控
例如，每10秒采样一次，连续采样3次，观察核心表的状态，需键入如下命令：
sar -v 10 3
屏幕显示如下：
17:10:49 dentunusd file-nr inode-nr pty-nr
17:10:59 6301 5664 12037 4
17:11:09 6301 5664 12037 4
17:11:19 6301 5664 12037 4
Average: 6301 5664 12037 4
输出项说明：
dentunusd：目录高速缓存中未被使用的条目数量
file-nr：文件句柄（file handle）的使用数量
inode-nr：索引节点句柄（inode handle）的使用数量
pty-nr：使用的pty数量
---------------------------------------------------------------------------------------------------------------------------------
3. 内存和交换空间监控
例如，每10秒采样一次，连续采样3次，监控内存分页：sar -r 10 3
输出项说明：
kbmemfree：这个值和free命令中的free值基本一致,所以它不包括buffer和cache的空间.
kbmemused：这个值和free命令中的used值基本一致,所以它包括buffer和cache的空间.
%memused：这个值是kbmemused和内存总量(不包括swap)的一个百分比.
kbbuffers和kbcached：这两个值就是free命令中的buffer和cache.
kbcommit：保证当前系统所需要的内存,即为了确保不溢出而需要的内存(RAM+swap).
%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比.
---------------------------------------------------------------------------------------------------------------------------------
4. 内存分页监控
例如，每10秒采样一次，连续采样3次，监控内存分页：sar -B 10 3
输出项说明：
pgpgin/s：表示每秒从磁盘或SWAP置换到内存的字节数(KB)
pgpgout/s：表示每秒从内存置换到磁盘或SWAP的字节数(KB)
fault/s：每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)
majflt/s：每秒钟产生的主缺页数.
pgfree/s：每秒被放入空闲队列中的页个数
pgscank/s：每秒被kswapd扫描的页个数
pgscand/s：每秒直接被扫描的页个数
pgsteal/s：每秒钟从cache中被清除来满足内存需要的页个数
%vmeff：每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比
----------------------------------------------------------------------------------------------------------------------------------
5. I/O和传送速率监控
例如，每10秒采样一次，连续采样3次，报告缓冲区的使用情况，需键入如下命令：sar -b 10 3
输出项说明：
tps：每秒钟物理设备的 I/O 传输总量
rtps：每秒钟从物理设备读入的数据总量
wtps：每秒钟向物理设备写入的数据总量
bread/s：每秒钟从物理设备读入的数据量，单位为 块/s
bwrtn/s：每秒钟向物理设备写入的数据量，单位为 块/s
----------------------------------------------------------------------------------------------------------------------------------
6. 进程队列长度和平均负载状态监控
例如，每10秒采样一次，连续采样3次，监控进程队列长度和平均负载状态：sar -q 10 3
输出项说明：
runq-sz：运行队列的长度（等待运行的进程数）
plist-sz：进程列表中进程（processes）和线程（threads）的数量
ldavg-1：最后1分钟的系统平均负载（System load average）
ldavg-5：过去5分钟的系统平均负载
ldavg-15：过去15分钟的系统平均负载
----------------------------------------------------------------------------------------------------------------------------------
7. 系统交换活动信息监控
例如，每10秒采样一次，连续采样3次，监控系统交换活动信息：sar -W 10 3
输出项说明：
pswpin/s：每秒系统换入的交换页面（swap page）数量
pswpout/s：每秒系统换出的交换页面（swap page）数量
-----------------------------------------------------------------------------------------------------------------------------------
8. 设备使用情况监控
例如，每10秒采样一次，连续采样3次，报告设备使用情况，需键入如下命令：sar -d 10 3 –p
输出项说明：
参数-p可以打印出sda,hdc等磁盘设备名称,如果不用参数-p,设备节点则有可能是dev8-0,dev22-0
tps:每秒从物理磁盘I/O的次数.多个逻辑请求会被合并为一个I/O磁盘请求,一次传输的大小是不确定的.
rd_sec/s:每秒读扇区的次数.
wr_sec/s:每秒写扇区的次数.
avgrq-sz:平均每次设备I/O操作的数据大小(扇区).
avgqu-sz:磁盘请求队列的平均长度.
await:从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒=1000毫秒).
svctm:系统处理每次请求的平均时间,不包括在请求队列中消耗的时间.
%util:I/O请求占CPU的百分比,比率越大,说明越饱和.

1. avgqu-sz 的值较低时，设备的利用率较高。
2. 当%util的值接近 1% 时，表示设备带宽已经占满。

要判断系统瓶颈问题，有时需几个 sar 命令选项结合起来
怀疑CPU存在瓶颈，可用 sar -u 和 sar -q 等来查看
怀疑内存存在瓶颈，可用 sar -B、sar -r 和 sar -W 等来查看
怀疑I/O存在瓶颈，可用 sar -b、sar -u 和 sar -d 等来查看
---------------------------------------------------------------------------------------------------------------------------------------
4. Network （iptraf , tcptrace ）
4.1 iptraf 介绍
命令：iptraf(选项)
-i网络接口：立即在指定网络接口上开启IP流量监视；
-g：立即开始生成网络接口的概要状态信息；
-d网络接口：在指定网络接口上立即开始监视明细的网络流量信息；
-s网络接口：在指定网络接口上立即开始监视TCP和UDP网络流量信息；
-z网络接口：在指定网络接口上显示包计数；
-l网络接口：在指定网络接口上立即开始监视局域网工作站信息；
-t时间：指定iptraf指令监视的时间；
-B；将标注输出重新定向到“/dev/null”，关闭标注输入，将程序作为后台进程运行；
-f：清空所有计数器；
-h：显示帮助信息。
输出参数：
1、菜单Configure...
在这里可以对 iptraf 进行配置，所有的修改都将保存在文件：/var/local/iptraf/iptraf.cfg 中
--- Reverse DNS Lookups 选项，对IP地址反查 DNS名，默认是关闭的
--- TCP/UDP Service Names 选项，使用服务器代替端口号，例如用www 代替80，默认是关闭的
--- Force promiscuous 混杂模式，此时网卡将接受所有到达的数据，不管是不是发给自己的。
--- Color 终端显示彩色，当然用telnet ,ssh连接除外，也就是用不支持颜色的终端连接肯定还是没有颜色。
--- Logging 同时产生日志文件，在/var/log/iptraf 目录下
--- Activity mode 可以选择统计单位是kbit/sec 还是 kbyte/sec
--- Source MAC addrs in traffic monitor 选择后，会显示数据包的源MAC地址
2、菜单Filters...
在这里可以设置过滤规则，这是最有用的选项了，当你从远端连入监控机时，自己的机器与监控机会产生源源不断的tcp数据包，有时很令人讨厌，
此时你就可以将自己的ip地址排除在外。
它包括六个选项，分别是：Tcp、Udp、Other IP、ARP、RARP、Non-ip。我们以TCP为例说明，其他选项的配置都很相似。
--- Defining a New Filter
选择Defining a New Filter后，会出来一对话框，要求填入对所建的当前规则的描述名，然后回车确定，Ctrl＋x取消
再接着出现的对话框里，Host name/IP address:的First里面填源地址，Second里填目标地址，Wildcard mask 的两个框里面分别是源地址
和目标地址所对应的掩码，注意，这里的地址即可以是单个地址，也可以是一个网段，如果是单个IP，则相应的子网掩码要填成255.255.255.255，
如果是一个网段，则填写相应的子网掩码：例如，想表示192.168.0.0，有256个IP地址的网段，则填写192.168.0.0，子网是：255.255.255.0，
其他类推，All则用0.0.0.0，子网也是0.0.0.0表示。
Port：栏要求填入要过滤的端口号，0表示任意端口号
Include/Exclude栏要求填入I或者E，I表示包括，E表示排除
填写完毕，回车确认，Ctrl+x取消
--- Applying a Filter
我们在上一步定义的一个或多个过滤规则会存储为一个过滤列表，在没有应用之前并不起作用，我们可以在这里选择我们应用那些过滤规则。
所有应用的规则会一直起作用，即使重新启动iptraf。我们可以执行Detaching a Filter来取消执行当前所有应用的规则。
--- Editing a Defined Filter 编辑一个已经存在的规则
--- Deleting a Defined Filter 删除一个已经定义的规则
--- Detaching a Filter 取消执行当前所有应用的规则
3、菜单IP Traffic Monitor
IP数据包流量实时监控窗口，注意这里会监控所有的来往数据包，包括自己的，所以，如果你使用远程终端连接上来的话，你和监控机将会
源源不断的产生数据流，因此建议在Filters...菜单中将自己的IP过滤掉，使它不产生影响。在这里可以实时的看到每一个连接的流量状态，
它有两个窗口，上面的是TCP的连接状态，下面的窗口可以看到UDP、ICMP、OSPF、IGRP、IGP、IGMP、GRE、ARP、RARP的数据包。
可以点击s键选择排序，可以按照包的数量排序，也可按照字节的大小排序，如果因为它是实时变化的而导致看不太清楚的话，可以在
Configure菜单中把Logging功能打开，它就会在/var/log/iptraf 目录中记录日志，以方便你在日后查看，当Logging功能打开后，
当你开始监控IP Traffic时，程序会提示你输入Log文件的文件名，默认的是ip_traffic-1.log。
在一个比较繁忙的网络里，显示的结果可能很乱，以至于你很难找到自己感兴趣的数据，这时可以使用Filters菜单，来过滤显示的数据。
4、菜单General Interface Statistics
这里显示每个网络设备出去和进入的数据流量统计信息，包括总计、IP包、非IP包、Bad IP包、还有每秒的流速，单位是kbit/sec或者是
kbyte/sec ，这由Configure菜单的Activity选项决定。
如果设置了Filter选项，这里也受到影响
5、菜单Detailed Interface Statistics
这里包括了每个网络设备的详细的统计信息，很简单，不再赘述。
6、Statistical Breakdowns
这里提供更详细的统计信息，可以按包的大小分类，分别统计；也可以按Tcp/Udp的服务来分类统计，也不再赘述。
7、LAN Station Statistics
提供对每个网络地址通过本机的数据的统计信息。
----------------------------------------------------------------------------------------------------------------------------