Linux 工具 sar
linux sar命令详解
sar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。本文主要以CentOS 6.3 x64系统为例，介绍sar命令。
root@ranger-PC:~# sudo apt install searchandrescue
sar命令常用格式
sar [options] [-A] [-o file] t [n]
其中：
t为采样间隔，n为采样次数，默认值是1；
-o file表示将命令结果以二进制格式存放在文件中，file 是文件名。
options 为命令行选项，sar命令常用选项如下：
-A：所有报告的总和
-u：输出CPU使用情况的统计信息
-v：输出inode、文件和其他内核表的统计信息
-d：输出每一个块设备的活动信息
-r：输出内存和交换空间的统计信息
-b：显示I/O和传送速率的统计信息
-a：文件读写情况
-c：输出进程统计信息，每秒创建的进程数
-R：输出内存页面的统计信息
-y：终端设备活动情况
-w：输出系统交换活动信息
1. CPU资源监控
例如，每10秒采样一次，连续采样3次，观察CPU 的使用情况，并将采样结果以二进制形式存入当前目录下的文件test中，需键入如下命令：
sar -u -o test 10 3
屏幕显示如下：
17:06:16 CPU %user %nice %system %iowait %steal %idle
17:06:26 all 0.00 0.00 0.20 0.00 0.00 99.80
17:06:36 all 0.00 0.00 0.20 0.00 0.00 99.80
17:06:46 all 0.00 0.00 0.10 0.00 0.00 99.90
Average: all 0.00 0.00 0.17 0.00 0.00 99.83
输出项说明：
CPU：all 表示统计信息为所有 CPU 的平均值。
%user：显示在用户级别(application)运行使用 CPU 总时间的百分比。
%nice：显示在用户级别，用于nice操作，所占用 CPU 总时间的百分比。
%system：在核心级别(kernel)运行所使用 CPU 总时间的百分比。
%iowait：显示用于等待I/O操作占用 CPU 总时间的百分比。
%steal：管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。
%idle：显示 CPU 空闲时间占用 CPU 总时间的百分比。
1. 若 %iowait 的值过高，表示硬盘存在I/O瓶颈
2. 若 %idle 的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量
3. 若 %idle 的值持续低于1，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU 。
如果要查看二进制文件test中的内容，需键入如下sar命令：
sar -u -f test
2. inode、文件和其他内核表监控
例如，每10秒采样一次，连续采样3次，观察核心表的状态，需键入如下命令：
sar -v 10 3
屏幕显示如下：
17:10:49 dentunusd file-nr inode-nr pty-nr
17:10:59 6301 5664 12037 4
17:11:09 6301 5664 12037 4
17:11:19 6301 5664 12037 4
Average: 6301 5664 12037 4
输出项说明：
dentunusd：目录高速缓存中未被使用的条目数量
file-nr：文件句柄（file handle）的使用数量
inode-nr：索引节点句柄（inode handle）的使用数量
pty-nr：使用的pty数量
3. 内存和交换空间监控
例如，每10秒采样一次，连续采样3次，监控内存分页：
sar -r 10 3
屏幕显示如下：
输出项说明：
kbmemfree：这个值和free命令中的free值基本一致,所以它不包括buffer和cache的空间.
kbmemused：这个值和free命令中的used值基本一致,所以它包括buffer和cache的空间.
%memused：这个值是kbmemused和内存总量(不包括swap)的一个百分比.
kbbuffers和kbcached：这两个值就是free命令中的buffer和cache.
kbcommit：保证当前系统所需要的内存,即为了确保不溢出而需要的内存(RAM+swap).
%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比.
4. 内存分页监控
例如，每10秒采样一次，连续采样3次，监控内存分页：
sar -B 10 3
屏幕显示如下：
输出项说明：
pgpgin/s：表示每秒从磁盘或SWAP置换到内存的字节数(KB)
pgpgout/s：表示每秒从内存置换到磁盘或SWAP的字节数(KB)
fault/s：每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor)
majflt/s：每秒钟产生的主缺页数.
pgfree/s：每秒被放入空闲队列中的页个数
pgscank/s：每秒被kswapd扫描的页个数
pgscand/s：每秒直接被扫描的页个数
pgsteal/s：每秒钟从cache中被清除来满足内存需要的页个数
%vmeff：每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比
5. I/O和传送速率监控
例如，每10秒采样一次，连续采样3次，报告缓冲区的使用情况，需键入如下命令：
sar -b 10 3
屏幕显示如下：
18:51:05 tps rtps wtps bread/s bwrtn/s
18:51:15 0.00 0.00 0.00 0.00 0.00
18:51:25 1.92 0.00 1.92 0.00 22.65
18:51:35 0.00 0.00 0.00 0.00 0.00
Average: 0.64 0.00 0.64 0.00 7.59
输出项说明：
tps：每秒钟物理设备的 I/O 传输总量
rtps：每秒钟从物理设备读入的数据总量
wtps：每秒钟向物理设备写入的数据总量
bread/s：每秒钟从物理设备读入的数据量，单位为 块/s
bwrtn/s：每秒钟向物理设备写入的数据量，单位为 块/s
6. 进程队列长度和平均负载状态监控
例如，每10秒采样一次，连续采样3次，监控进程队列长度和平均负载状态：
sar -q 10 3
屏幕显示如下：
19:25:50 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
19:26:00 0 259 0.00 0.00 0.00
19:26:10 0 259 0.00 0.00 0.00
19:26:20 0 259 0.00 0.00 0.00
Average: 0 259 0.00 0.00 0.00
输出项说明：
runq-sz：运行队列的长度（等待运行的进程数）
plist-sz：进程列表中进程（processes）和线程（threads）的数量
ldavg-1：最后1分钟的系统平均负载（System load average）
ldavg-5：过去5分钟的系统平均负载
ldavg-15：过去15分钟的系统平均负载
7. 系统交换活动信息监控
例如，每10秒采样一次，连续采样3次，监控系统交换活动信息：
sar - W 10 3
屏幕显示如下：
19:39:50 pswpin/s pswpout/s
19:40:00 0.00 0.00
19:40:10 0.00 0.00
19:40:20 0.00 0.00
Average: 0.00 0.00
输出项说明：
pswpin/s：每秒系统换入的交换页面（swap page）数量
pswpout/s：每秒系统换出的交换页面（swap page）数量
8. 设备使用情况监控
例如，每10秒采样一次，连续采样3次，报告设备使用情况，需键入如下命令：
# sar -d 10 3 –p
屏幕显示如下：
17:45:54 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
17:46:04 scd0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
17:46:04 sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
17:46:04 vg_livedvd-lv_root 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
17:46:04 vg_livedvd-lv_swap 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
其中：
参数-p可以打印出sda,hdc等磁盘设备名称,如果不用参数-p,设备节点则有可能是dev8-0,dev22-0
tps:每秒从物理磁盘I/O的次数.多个逻辑请求会被合并为一个I/O磁盘请求,一次传输的大小是不确定的.
rd_sec/s:每秒读扇区的次数.
wr_sec/s:每秒写扇区的次数.
avgrq-sz:平均每次设备I/O操作的数据大小(扇区).
avgqu-sz:磁盘请求队列的平均长度.
await:从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒=1000毫秒).
svctm:系统处理每次请求的平均时间,不包括在请求队列中消耗的时间.
%util:I/O请求占CPU的百分比,比率越大,说明越饱和.
1. avgqu-sz 的值较低时，设备的利用率较高。
2. 当%util的值接近 1% 时，表示设备带宽已经占满。
要判断系统瓶颈问题，有时需几个 sar 命令选项结合起来
怀疑CPU存在瓶颈，可用 sar -u 和 sar -q 等来查看
怀疑内存存在瓶颈，可用 sar -B、sar -r 和 sar -W 等来查看
怀疑I/O存在瓶颈，可用 sar -b、sar -u 和 sar -d 等来查看
和sar比起来，其他Linux命令都是猹
和sar比起来，其他Linux命令都是猹
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。
我决定把今年装x的机会，留给sar命令。它是一个Linux下的监控工具，一直站在鄙视链的顶端。之所以让人望而生畏，主要是由于它繁多的参数。但，这么强大的命令，并非无章可循，实际上是非常简单的。
今天就和xjjdog一起，寻觅sar命令的隐秘之处，共同沾得帝王之气，以便傲视群cmd，彰显自己侧漏的霸气！
sar命令很简单，它的参数主要分为四部分。其中，第二部分和第三、四部分，是可选的，也就是说，最终要的参数，就剩下一个，那就是类型。这个参数的值非常的多，我们暂且放在一边，看一下以上命令的简单意义。
- 类型，也就是我们要获取的是哪个类型的指标数据，这里的
-n，代表的是监控一些网络信息 - 类型参数，有的类型带有参数，有的没有。这里的
DEV，代表的是监控网卡信息 - 时间间隔，表示多少
秒采样一次数据，这里的1就是1秒 - 次数，表示采样的次数。比如时间间隔是3，采样次数是4，那么sar命令将会阻塞12秒钟
我们来看小小偷窥一下它的输出。
# sar -n DEV 1 2
03:10:29 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
03:10:30 PM lo 30.00 30.00 2.09 2.09 0.00 0.00 0.00 0.00
03:10:30 PM eth0 6.00 2.00 0.38 0.32 0.00 0.00 0.00 0.00
03:10:30 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
03:10:31 PM lo 39.00 39.00 2.95 2.95 0.00 0.00 0.00 0.00
03:10:31 PM eth0 11.00 12.00 0.72 5.26 0.00 0.00 0.00 0.00
Average: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
Average: lo 33.00 33.00 2.38 2.38 0.00 0.00 0.00 0.00
Average: eth0 9.33 8.33 0.60 2.39 0.00 0.00 0.00 0.00非常非常规整的二维数组，不像top命令那种张狂的显示(top -b -n 1可以输出当前信息)。可以很方便的使用sed，awk这样的工具进行处理。
了解这命令构成的各个部分，我们就可以放心大胆的来看具体的参数，都有哪些了。能不能抓到这只猹，在此一举。
之所以说sar命令，站在鄙视链的顶端，那是因为它的参数是非常丰富的。我们再也不需要各种iostat、top、vmstat等五花八门的命令，只需要一个sar，就能统一天下。
Linux下的资源监控，不外乎下面几种。有磁盘、CPU、网络、内存、IO等。不好意思，sar都能监控到，就是这么目空一切。 localfile://media/15419901472131/15421816552644.jpg
接下来，我们就来漫游一小把。
1. CPU信息
我们就先从cpu信息开始说起。作为计算机的大脑，作为一个指挥者，我们要监控它的一举一动。实际上，对于CPU有下面三种监控。
（1）利用率，使用sar -u，我们看下它的执行结果。可以看到每种类型的使用情况，和top命令种的意义，是一样的。
# sar -u 1 1
03:37:39 PM CPU %user %nice %system %iowait %steal %idle
03:37:40 PM all 0.25 0.50 0.50 0.00 0.00 98.75
Average: all 0.25 0.50 0.50 0.00 0.00 98.75（2）负载，使用sar -q，同样的，和top的参数意义是相似的。除了load值，它还显示了等待队列的长度，对于排查排队问题非常有帮助。
# sar -q 1 1
03:40:15 PM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked
03:40:16 PM 0 468 0.02 0.04 0.00 0
Average: 0 468 0.02 0.04 0.00 0（3）中断，使用sar -I，注意i是大写的。由于有不同的换算方式，所以中断的参数，分为默认、SUM、ALL等。
# sar -I SUM 1 2
03:44:36 PM INTR intr/s
03:44:37 PM sum 1118.00
03:44:38 PM sum 1024.00
Average: sum 1071.00（4）上下文切换，使用sar -w，它经常与监控swap交换分区的使用情况的sar -W搞混，所以要注意。
# sar -w 1
04:08:33 PM proc/s cswch/s
04:08:34 PM 0.00 1686.002. 内存信息
看完了CPU就再看内存。CPU跑满了机器可能表现就是慢点，内存跑满了可是要死人的。
内存主要是分为下面这些部分，我们平常监控的，主要是物理内存、虚拟内存、内核等。
（1）内存利用率，使用sar -r命令。有些sar版本可能会有sar -R，但一般小写的就够了。
# sar -r 1 1
03:48:39 PM kbmemfree kbavail kbmemused %memused kbbuffers kbcached kbcommit %commit kbactive kbinact kbdirty
03:48:40 PM 1663884 2650804 6057692 78.45 0 1001040 6954428 90.06 4915476 582184 100
Average: 1663884 2650804 6057692 78.45 0 1001040 6954428 90.06 4915476 582184 100（2）swap交换分区。对于swap分区来说，就可以使用sar -S。效果如下。如果想要看交换分区的使用情况（非容量情况），就要切换到sar -W命令。
# sar -S 1 1
04:05:22 PM kbswpfree kbswpused %swpused kbswpcad %swpcad
04:05:23 PM 0 0 0.00 0 0.00
Average: 0 0 0.00 0 0.00（3）内核使用情况，主要是使用sar -v命令。v一般在别的命令中用作版本展示，sar命令用来输出slab区的一些信息，可以说是特立独行，不走寻常路。
# sar -v 1
04:10:17 PM dentunusd file-nr inode-nr pty-nr
04:10:18 PM 115135 3776 111146 3
04:10:19 PM 115145 3776 111151 3
04:10:20 PM 115149 3776 111155 3（4）sar还能监控到内存分页信息，它有一个牛x的名字sar -B，来看看它的效果。
# sar -B
04:15:39 PM pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff
04:15:40 PM 20.00 10.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00
04:15:41 PM 16.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
04:15:42 PM 20.00 186.00 0.00 0.00 0.00 0.00 0.00 0.00 0.003. I/O信息
IO信息监控，同样是一个响亮的sar -b，不过这里的b，变成了小写的。
# sar -b 1 2
04:17:25 PM tps rtps wtps bread/s bwrtn/s
04:17:26 PM 6.00 4.00 2.00 32.00 23.00
04:17:27 PM 5.00 5.00 0.00 48.00 0.00
Average: 5.50 4.50 1.00 40.00 11.50如果你要找问题，就要配合着iowait去找了。
你可能会说，这里面的输出，才有5个选项，完全没有iostat输出的多！有个鸟用？这是因为你还没用到sar -d，我们来看他的效果。呵呵，就是个iostat的翻版啊。
# sar -d 1
04:18:47 PM DEV tps rkB/s wkB/s areq-sz aqu-sz await svctm %util
04:18:48 PM dev253-0 4.00 16.00 0.00 4.00 0.00 0.50 1.75 0.70
04:18:49 PM dev253-0 5.00 84.00 0.00 16.80 0.00 0.60 1.80 0.904. 网络信息
接下来，我们看最复杂的网络信息。说它复杂，是因为它的参数非常的多，比如上面说到的DEV，就表示的网络流量。
- DEV 网卡
- EDEV 网卡 (错误)
- NFS NFS 客户端
- NFSD NFS 服务器
- SOCK Sockets (套接字) (v4)
- IP IP 流 (v4)
- EIP IP 流 (v4) (错误)
- ICMP ICMP 流 (v4)
- EICMP ICMP 流 (v4) (错误)
- TCP TCP 流 (v4)
- ETCP TCP 流 (v4) (错误)
- UDP UDP 流 (v4)
- SOCK6 Sockets (套接字) (v6)
- IP6 IP 流 (v6)
- EIP6 IP 流 (v6) (错误)
- ICMP6 ICMP 流 (v6)
- EICMP6 ICMP 流 (v6) (错误)
- UDP6 UDP 流 (v6)
要命的是，这些参数的每个输出，还都不是一样的。可能是26个字母已经无法涵盖这么多参数了吧，所以sar命令统一把它加在了sar -n下面。好在我们平常使用的时候，只和DEV参数打交道既可以了。
5. 如何安装
我们介绍过各种linux命令，像什么top、vmstat、mpstat、iostat...等等等等。
最常用的一套“Vim“技巧
最常用的一套“Sed“技巧
最常用的一套“AWK“技巧
经过我们上面的介绍。发现，这些都不行。要数能力强，还得看sar命令。
sar（System ActivityReporter）是Linux最为全面的系统性能分析工具，可以监控CPU、内存、网络、I/O、文件读写、系统调用等各种资源，算是一个万能的小能手。
sar命令同样是sysstat工具包里的命令，如果你无法执行，需要像下面这样安装。
yum install sysstatsar对比top这样的命令，有一个非常大的优势，那就是可以显示历史指标。
所以你刚开始安装以后，尝试执行sar。结果报错了。
[root@localhost ~]# sar
Cannot open /var/log/sa/sa08: No such file or directory这就需要等一小会儿再执行，因为现在它还没有数据。一切面包牛奶，都会有的。
End
sar命令是可以看到历史记录的。那这些文件存在哪呢？我们可以在/var/log/sa目录下找到它们。但可惜的是，vim打开这些文件，是乱码！
可以使用下面的命令导出它们。后面的数字，一般是当天的日期。
sar -A -f /var/log/sa/sa21 > monitor这个monitor文件，我们可以使用图形化的工具打开，也可以使用文本编辑器打开。这里以kSar为例（一个java便携的GUI），选择载入monitor文件，即可出现下面的效果。
有了sar这个强大的命令，你就可以对系统的参数了如指掌。和sar命令比起来，其他的命令可真的是渣。第一是因为sar能看到历史，第二是因为sar功能强大。但那些命令即使是渣，我也用的很欢。原因也有两个，一个就是用习惯了，不想换；另外一个，就是那么牛x的sar命令，参数实在是有点反人类，真的不好记忆。
作者简介：小姐姐味道 (xjjdog)，一个不允许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构，日百亿流量，与你探讨高并发世界，给你不一样的味道。我的个人微信xjjdog0，欢迎添加好友，进一步交流。
