linux性能监控命令，磁盘，网络，cpu，内存
一，CPU
cpu负载是逻辑的判断与处理(类似人的大脑)，
CPU 主要是运行程序的速度，影响速度的主要是主频（越高越快，但不是线性关系）、外频（基准频率、外频决定整个主板运行速度，超频就是超外频，超频会导致不稳定）、缓存容量（缓存的大小对cpu速度影响很大，缓存大，命中率高，速度就快，L1缓存与处理器同频运行，二级缓存内部和主频相同，外部是主频的一半，但比内存快得多）、逻辑结构
查看指令：
1，cat /proc/cpuinfo
2,top
使用格式： top [-] [d] [p] [q] [c] [C] [S] [s] [n] 参数说明： d：指定每两次屏幕信息刷新之间的时间间隔。当然用户可以使用s：交互命令来改变之。 p：通过指定监控进程ID来仅仅监控某个进程的状态。 i：使top不显示任何闲置或者僵死进程。 c：显示整个命令行而不只是显示命令名
top 运行中内部命令如下：
s – 改变画面更新频率
l – 关闭或开启第一部分第一行 top 信息
t – 关闭或开启第一部分第二行 Tasks 和第三行 Cpus 信息
m – 关闭或开启第一部分第四行 Mem 和 第五行 Swap 信息
N – 以 PID 的大小的顺序排列表示进程列表
P – 以 CPU 占用率大小的顺序排列进程列表
M – 以内存占用率大小的顺序排列进程列表
T – 按消耗cpu时间排序
h – 显示帮助
n – 设置在进程列表所显示进程的数量
q – 退出 top
= - 移除所有任务显示限制
H - 切换线程和进程模式
U - 指定用户相关进程
r - 重新设定进程的nice值
W - 存储当前设定
top 信息详解：
当前系统时间 启动时间长度 3个用户 最近5、10、15分钟平均负载----cpu+io等待
进程 总共192个进程 1个运行 191个休眠 0个停止 0个僵尸（进程的一种状态）
%us 用户进程的cpu时间 %sy系统内核进程的cpu时间 %ni niced：运行已调整优先级的用户进程的CPU时间 %wa IO wait: 用于等待IO完成的CPU时间 %hi hi：处理硬件中断的CPU时间 %si: 处理软件中断的CPU时间 %st：强制上下文切换消耗的cpu时间
Mem 总物理内存 used 使用内存 free剩余内存 buffers 缓冲区 存放将要写入磁盘的数据
Swap 虚拟内存 一小部分内存和一大部分磁盘一起虚拟出来的空间 total 总虚拟内存 Free 空闲虚拟内存 持续减少一点是内存有瓶颈了（物理内存不够用） Cached 缓存区，是高速缓存，cpu频繁读的数据放入缓存区 ， 从Cache中读取数据会更快，减少了CPU等待的时间，提高了系统的性能。
PID：进程ID，进程的唯一标识符
USER：进程所有者的实际用户名。
PR：进程的调度优先级。这个字段的一些值是'rt'。这意味这这些进程运行在实时态。
NI：进程的nice值（优先级）。越小的值意味着越高的优先级。负值表示高优先级，正值表示低优先级，默认20
VIRT：进程使用的虚拟内存。进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES RES：驻留内存大小。驻留内存是任务使用的非交换物理内存大小。进程使用的、未被换出的物理内存大小，单位kb。
RES=CODE+DATA
SHR：SHR是进程使用的共享内存。共享内存大小，单位kb
S：这个是进程的状态。它有以下不同的值: D - 不可中断的睡眠态。 R – 运行态 S – 睡眠态 T – 被跟踪或已停止 Z – 僵尸态
%CPU：自从上一次更新时到现在任务所使用的CPU时间百分比。 %MEM：进程使用的可用物理内存百分比。
TIME+：任务启动后到现在所使用的全部CPU时间，精确到百分之一秒。
COMMAND：运行进程所使用的命令。进程名称（命令名/命令行）
VIRT：virtual memory usage 虚拟内存
1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等
2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，不是实际使用量
RES：resident memory usage 常驻内存
1、进程当前使用的内存大小，但不包括swap out，包含其他进程的共享
2、如果申请100m的内存，实际使用10m，它只增长10m，与VIRT相反
3、关于库占用内存的情况，它只统计加载的库文件所占内存大小
SHR：shared memory 共享内存
1、除了自身进程的共享内存，也包括其他进程的共享内存
2、虽然进程只使用了几个共享库的函数，但它包含了整个共享库的大小
3、计算某个进程所占的物理内存大小公式：RES – SHR
DATA:
1、数据占用的内存。如果top没有显示，按s键可以显示出来。
2、真正的该程序要求的数据空间，是真正在运行中要使用的。
top的交互命令：
h 切换到交互命令窗口
1 显示多核的cpu占用情况
f 进入新试图 排基本试图的显示字段 如 s 显示data
U 输入用户名选项查看对应用户的进程
K 输入进程号和信号 终止进程 15普通终止 9 强制终止
b 打开和关闭行高亮
x 打开和关闭排序列高亮
------------------------------------------------------------
cpu高的定位方法：
1、查看那个进程占用CPU高 执行Top
2、查看进程下的那个线程占用CPU高 Top –H –p 进程号
3、按CPU排序-输入P 定位到那个线程CPU占用高 再查询此线程执行的方法
------------------------------------------------------------
vmstat的使用方法：
-a：显示活跃和非活跃内存
-f：显示从系统启动至今的fork数量（linux下创建进程调用fork方法）
-m：显示slabinfo（内核创建的一些小对象的信息展示）
-n：只在开始时显示一次各字段名称。
-s：显示内存相关统计信息及多种系统活动数量。
delay：刷新时间间隔。如果不指定，只显示一条结果。
count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。
-d：显示磁盘相关统计信息。
-p：显示指定磁盘分区统计信息
-S：使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes）
-V：显示vmstat版本信息
vmstat 2 5 :每2秒采集一次，共计采集5次
Procs 进程
r cpu正在运行的进程数，如果超过cpu核数，cpu有瓶颈
b 等待资源的进程数，比如等待io或者cpu运行的进程数，大于0说明cpu有瓶颈
Memory内存
Swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了
Free 空闲的物理内存大小，默认KB
Buff 已经使用的buff大小
Cache 已使用的cache大小
Swap虚拟内存
Si 每秒从虚拟内存写入内存的大小（KB/s），如果长期大于0，说明内存不足
So 每秒从内存写到虚拟内存的大小（KB/s），如果长期大于0，说明内存不足
io 磁盘io
Bi 表示由每秒读入的块 Bo 表示写的块 单位block 硬盘读写的最小单位是扇区，一个扇区是512 bytes，一次读写的数据量就称为1个block，基本可以按乘512来根据block计算出读写的实际数据量
System
In 表示每秒产生的中断次数
Cs 每秒产生的上下文切换次数，in和cs越大，表示内存消耗的cpu越多
Cpu
Us 用户消耗的cpu百分比，如果大于50%需要关注了
Sy 内核消耗的cpu百分比，如果us+sy大于80%需要关注
Id cpu处于空闲时间的百分比
Wa 等待所占的cpu百分比，wa值高，说明io等待严重，磁盘有瓶颈，不超20%
St 被动上下文切换消耗cpu时间，如果in、cs和st高的话，可以通过pidstat -wt -u 1 命令查看是主动切换（cswch）还是被动切换（nswch），进一步分析，如果是被动切换比较高，说明是磁盘io有问题
------------------------------sar------------------------------------------
sar（System ActivityReporter系统活动情况报告）是目前Linux上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等，sar命令由sysstat安装包安装
用法: sar [ 选项 ] [ <时间间隔> [ <次数> ] ] 选项: [ -A ] [ -B ] [ -b ] [ -C ] [ -d ] [ -H ] [ -h ] [ -p ] [ -q ] [ -R ] [ -r ] [ -S ] [ -t ] [ -u [ ALL ] ] [ -V ] [ -v ] [ -W ] [ -w ] [ -y ] [ -I { <中断> [,...] | SUM | ALL | XALL } ] [ -P { <cpu> [,...] | ALL } ] [ -m { <关键词>
Sar 使用语法：
-A:所有报告的总和
-b:显示I/O和传递速率的统计信息（缓冲区使用情况）
-B:显示换页状态
-d:输出每一块磁盘的使用信息
-e:设置显示报告的结束时间
-q:显示运行的队列大小，它与系统当时的平均负载相同
-i:设置状态信息刷新的间隔时间
-P:报告每个CPU的状态
-r:显示内存状态
–u:输出cpu使用情况和统计信息
–v:显示进程、索引节点、文件和其他内核表的状态
-W:显示交换分区的状态
-n:显示网络使用情况
这个命令主要是监控cpu的，每2秒收集一次，总共收集3次。等同于sar -p 2 3
%usr 用户进程消耗的cpu时间百分比
%nice 改变过优先级的进程的占用CPU时间的百分比
%system 系统进程消耗的cpu时间百分比
%iowait I/O等待所占cpu时间百分比
%steal (Steal time)是当hypervisor服务另一个虚拟处理器的时候，虚拟CPU等待实际CPU的时间的百分比；高steal值可能意味着主机供应商在服务器上过量地出售虚拟机。steal值还是不降的话，你应该寻找另一家服务供应商。
%idle cpu空闲状态的时间占比
需要注意的指标：%iowait和%idle，%wio过高表示磁盘I/O瓶颈；%idle值高表示cpu空闲，%idle值持续低于10%，表示cpu存在性能瓶颈
Sar –q 信息详解-查看cpu性能问题：
Runq-sz 运行队列的长度（等待运行的进程数，每核的CP不能超过3个)
plist-sz 进程列表中的进程（processes）和线程数（threads）的数量
ldavg-1 最后1分钟的CPU平均负载，即将多核CPU过去一分钟的负载相加再除以核心数得出的平均值
ldavg-5 最后5分钟的CPU平均负载
ldavg-15 最后15分钟的CPU平均负载
Sar –r 信息详解—查看内存使用情况：
Kbmemfree 空闲的物理内存大小
Kbmemused 使用的物理内存
%memused 物理内存使用率（占比）
Kbbuffers 内核中作为缓冲区使用的物理内存大小，kbbuffers和kbcached:这两个值就是free命令中的buffer和cache以核心数得出的平均值
Kbcached 缓存的文件大小
Kbcommit 保证当前系统正常运行所需要的最小内存，即为了确保内存不溢出而需要的最少内存（物理内存+Swap分区）
%commit 这个值是kbcommit与内存总量（物理内存+swap分区）的一个百分比的值
Sar –B 信息详解：
Pgpgin/s 表示每秒从磁盘或SWAP置换到内存的字节数(KB)
Pgpgout/s 表示每秒从内存置换到磁盘或SWAP的字节数(KB)
Fault/s 每秒钟系统产生的缺页数,即主缺页与次缺页之和
Majflt/s 每秒钟产生的主缺页数
Pgfree/s 每秒被放入空闲队列中的页个数
Pgscank/s 每秒被kswapd扫描的页个数
Pgscand/s 每秒直接被扫描的页个数
Pgsteal/s 每秒钟从cache中被清除来满足内存需要的页个数
%vmeff 每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比
Sar –v 信息详解：
Dentunusd 在缓冲目录条目中没有使用的条目数量
File-nr 被系统使用的文件句柄数量
Inode-nr 已经使用的索引数量
Pty –nr 使用的pty数量 这里面的索引和文件句是sysctl.conf里面定义的和内核相关的值， max-file表示系统级别的能够打开的文件句柄的数量， 可以sysctl -a | grep file查看，具体含义如下： file-max中指定了系统范围内所有进程可打开的文件句柄的数量限，当收到"Too many open files in system"这样的错误消息时， 就应该曾加这个值了。
-------------------------IO-------------------------------
Tps 磁盘每秒钟的IO总数，等于iostat中的tps
Rtps 每秒钟从磁盘读取的IO总数
Wtps 每秒钟从写入到磁盘的IO总数
Bread/s 每秒钟从磁盘读取的块总数
Bwrtn/s 每秒钟此写入到磁盘的块总数
一次I/O 当进程发起系统调用时,系统调用就进入内核模式, 然后开始I/O操作 I/O操作分为俩个步骤:
1) 磁盘把数据装载进内核的内存空间
2) 内核的内存空间的数据copy到用户的内存空间中(此过程才是真正I/O发生的地方)
一次io的详细处理过程分析：
进程需要对磁盘中的数据进行操作，则会向内核发起一个系统调用，然后此进程，将会被切换出去；此进程会被挂起或者进入睡眠状态，也叫不可中 断的睡眠，因为数据还没有得到，只有等到系统调用的结果完成后，则进程会被唤醒，继续接下来的操作，从系统调用的开始到系统调用结束经过的步骤：
1，进程向内核发起一个系统调用，
2，内核接到系统调用，知道是对文件的请求，于是告诉磁盘，把文件读取出来
3，磁盘接收到来着内核的命令后，把文件载入到内核的内存空间里面
4，内核的内存空间接收到数据之后，把数据copy到用户进程的内存空间(此过程是I/O发生的地方)
5，进程内存空间得到数据后，给内核发送通知
6，内核把接收到的通知回复给进程，此过程为唤醒进程，然后进程得到数据，进行下一步操作
Sar –d 信息详解—查看磁盘是否有瓶颈：
Dentunusd 在缓冲目录条目中没有使用的条目数量
Tps 每秒I/O的次数
Rd_sec/s 每秒读扇区的大小
Wr_sec/s 每秒写扇区的大小
Avgrq-sz 每次操作的I/o大小
Avgqu-sz 磁盘队列的长度，反映磁盘的繁忙程度
Await 操作磁盘的平均处理时间，等于寻道时间+队列时间+服务时间（毫秒）
Svctm 每次磁盘处理消耗的时间，不包含队列时间，不大于0.5，体现磁盘性能
%util I/O请求占用的CPU百分比，值越高，说明I/O越慢
Sar –w 信息详解-查看内存是否有瓶颈：
Pswpin/s 每秒换入的交换页面（swap page）数量
Pswpout/s 每秒换出的交换页面（swap page）数量
----------------------------网络-----------------------------------------
sar -n DEV 信息详解-查看网络瓶颈：
Iface 网卡名称
Rxpck/s 每秒接收的数据包
Txpck/s 每秒发送的数据包
rxkB/s 每秒接收的字节数，单位kb（重点看）
txkB/S 每秒发送的字节数，单位kb（重点看）
Rxcmp/S 每秒钟接受的压缩数据包
Txcmp/S 每秒钟发送的压缩包
Rxmcst/S 每秒钟接收的多播数据包
场景：如果我监控的数据是120000kb，负载机和被压测的服务器之间的带宽是1GB(调研所得)，压测结果监控网卡的数据为120000kb，120000KB*8=960000KB,960000KB/1024=937.5Mb,非常接近带宽
1KB=8kb
1MB=1024KB
1GB=1024MB
sar -n SOCK 信息详解查看连接数：
Totsck 当前被使用的socket总数
Tcpsck 当前正在被使用的TCP的socket总数
Udpsck 当前正在被使用的UDP的socket总数
Rawsck 当前正在被使用于RAW的skcket总数
Ip-frag 当前的IP分片的数目
Tcp-tw TCP套接字中处于TIME-WAIT状态的连接数量
--------------------iostat-----------------
Iostat 使用语法：
用法：iostat [ 选项 ] [ <时间间隔> [ <次数> ]] 常用选项说明：
-c：只显示系统CPU统计信息，即单独输出avg-cpu结果，不包括device结果
-d：单独输出Device结果，不包括cpu结果
-k/-m：输出结果以kB/mB为单位，而不是以扇区数为单位
-x:输出更详细的io设备统计信息
interval/count：每次输出间隔时间，count表示输出次数，不带count表示循环输出
Iostat –x信息详解：
%user 用户进程消耗CPU时间的百分比
%nice 改变过优先级的进程的占用CPU时间的百分比
%system 系统进程消耗的CPU时间的百分比
%iowait I/O等待所占cpu时间百分比
%steal (Steal time)是当hypervisor服务另一个虚拟处理器的时候，虚拟CPU等待实际CPU的时间的百分比，如果高说明虚拟机虚的cpu太多了；
%idle cpu空闲状态的时间占比
%rrqm/s 每秒进行合并的读操作次数
%wrqm 每秒进行合并的写操作次数
%r/s 每秒完成读的I/O设备的次数
%w/s 每秒完成写的I/O设备的次数
%rsec/s 每秒读的扇区
%wsec/s 每秒写的扇区
Avgrq-sz 每个请求平均大小，单位是扇区数
Avgqu-sz 平均等待处理的io请求队列长度
Await 每次I/O操作磁盘的平均时间，等待时间+磁盘处理时间，单位毫秒，一般低于5毫秒，大于10毫秒就比较大了
Svctm 平均每次磁盘处理时间，真正的磁盘操作耗时，不包含等待，单位毫秒
%util 一秒钟用于I/O操作的时间占比，超过80%认为I/O繁忙
Iostat –c 信息详解：
%user 用户进程消耗CPU时间的百分比
%nice 改变过优先级的进程的占用CPU时间的百分比
%system 系统进程消耗的CPU时间的百分比
%iowait I/O等待所占cpu时间百分比
%steal (Steal time)是当hypervisor服务另一个虚拟处理器的时候，虚拟CPU等待实际CPU的时间的百分比，如果高说明虚拟机虚的cpu太多了；
%idle cpu空闲状态的时间占比
Iostat –d 信息详解：
ps 磁盘每秒钟的IO总数
Blk_read/s 每秒读取的数据块数
Blk_wrtn/s 每秒写入的数据块数
Blk_read 读取的数据块总数
Blk_wrtn 写入的数据块总数
块是个虚拟出来的概念，操作系统与磁盘打交道的最小单位是磁盘块。一般是4k大小必须是扇区（512k）的整数倍。操作系统操作磁盘，也需要通过磁盘驱动器进行。所以离不开扇区的；fdisk –l 查看扇区信息
----------------free--------------------
free 命令语法：
参 数：
-b 以Byte为单位显示内存使用情况。
-k 以KB为单位显示内存使用情况。
-m 以MB为单位显示内存使用情况。
-o 不显示缓冲区调节列。
-s<间隔秒数> 持续观察内存使用状况。
-t 显示内存总和列。
-V 显示版本信息。
total：表示物理内存总量(total = used + free)
used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用
free：未被分配的内存
shared：多个进程的共享内存总和
buffers：系统分配但未被使用的buffers 数量
cached：系统分配但未被使用的cache 数量
-------------------------netstat-------------------
Netstat 使用语法：
语法
netstat [-acCeFghilMnNoprstuvVwx][-A<网络类型>][--ip]
参数说明：
-a或--all 显示所有连线中的Socket
-c或--continuous 持续列出网络状态
-e或--extend 显示网络其他相关信息
-i或--interfaces 仅列出有在listen（监听）的服务状态
-n或--numeric 直接使用IP地址，而不通过域名服务器。
-p或--programs 显示正在使用Socket的程序识别码和程序名称。
-r或--route 显示R路由信息和当前有效连接
-s或--statistice 显示网络工作信息统计表，按协议统计
-t或--tcp 显示TCP传输协议的连线状况
-u或--udp 显示UDP传输协议的连线状况
MTU 表示最大传输单元，单位字节
RX-OK/TX-OK 表示已准确地接收/发送了多少数据包(重点)
RX-ERR/ TX-ERR 表示接收/发送数据包时产生了多少错误(重点，不能有值，有值就说明有错误)
RX-DRP/TX –DRP 表示接收/发送数据包时丢弃了多少数据包(重点，不能有值，有值就说明有错误)
RX-OVR/TX-OVR 表示由于误差而丢失了多少数据包（重点，不能有值，有值就说明有错误）
FLG 表示接口标记，其中：
B 已经设置了一个广播地址
L 该接口是一个回送设备
M 接收所有数据包（混乱模式）
N 避免跟踪 O 在该接口上，禁止ARP
P 这是一个点到点链接
R 接口正在云
U 接口处于“活动”状态
RX-ERR/ TX-ERR，RX-DRP/TX –DRP，RX-OVR/TX-OVR 应该为0或者接近0，如果持续很大，网络质量肯定有问题
Netstat 常用命令：
netstat -an | awk '/^tcp/ {++S[$NF]} END {for (a in S) print a,S[a]} '
netstat -ap | grep ssh ----->找出程序运行的端口
netstat -pt ---->输出中显示 TCP连接信息
----------------------------uptime------------------------------------
19:31:50 当前时间
up 9 days, 6:55 运行了多久
1 user 运行了1个用户
Load average 在特定时间间隔内运行队列中进程数
当单cpu单核时，load averages>1则系统繁忙且面临崩溃
当单cpu多核时，load averages=1则运行正常，通常我们先看15分钟load，如果load很高，再看1分钟和5分钟负载，查看是否有下降趋势，1分钟负载值 > 1，那么我们不用担心，但是如果15分钟负载都超过1，我们要赶紧看看发生了什么事情。所以我们要根据实际情况查看这三个值
ps 监测当前进程的情况：
参数：
-A 所有的进程均显示出来，与 -e 具有同样的效用
-a 显示现行终端机下的所有进程，包括其他用户的进程
-u 以用户为主的进程状态 -x 通常与 a 这个参数一起使用，可列出较完整信息
-e 命令之后显示环境
输出格式规划：
l 较长、较详细的将该PID 的的信息列出
j 工作的格式 (jobs format)
-f ：做一个更为完整的输出
ps –aux|more信息详解：
User 运行进程的用户
Pid 运行的进程id，kill进程就是k这个id
%CPU 进程占用CPU的百分比
% MEM 进程占用内存的百分比
VSZ 占用的虚拟记忆体大小
RSS 占用的记忆体大小
TTY 终端的次要装置号码 (minor device number of tty)
STAT 该行程的状态 START 进程启动时间
TIME 进程执行的时间
COMMAND 所执行的指令
-----------------------strace---------------------------------
Strace 命令：
常用来跟踪进程执行的系统调用和接收的信号，linux下，进程不能直接访问硬件设备，当进程需要访问硬件设备（比如读取磁盘文件，接收网络数据等等）时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用，包括参数，返回值，执行消耗时间
常用选项：
-tt 在每行输出的前面，显示毫秒级别的时间
-T 显示每次系统调用所花费的时间
-v 对于某些相关调用，把完整的环境变量，文件stat结构等打出来。
-f 跟踪目标进程，以及目标进程创建的所有子进程
-e 控制要跟踪的事件和跟踪行为,比如指定要跟踪的系统调用名称
-o 把strace的输出单独写到指定的文件
-s 当系统调用的某个参数是字符串时，最多输出指定长度的内容，默认是32个字节
-p 指定要跟踪的进程pid, 要同时跟踪多个pid, 重复多次-p选项即可。
