[系统资源攻略]CPU使用率和负载
我们在搞性能测试的时候，对后台服务器的CPU利用率监控是一个常用的手段。服务器的CPU利用率高，则表明服务器很繁忙。如果前台响应时间越来越大，而后台CPU利用率始终上不去，说明在某个地方有瓶颈了，系统需要调优。这个是即使不懂技术的人都容易理解的事情。
上面理解对吗？我个人觉得不十分准确。这个要看后台你测试的进程是什么类型的。如果是计算密集型的进程，当前端压力越来越大的时候，很容易把CPU利用率打上去。但是如果是I/O网络密集型的进程，即使客户端的请求越来越多，但是服务器CPU不一定能上去，这个是你要测试的进程的自然属性决定的。比较常见的就是，大文件频繁读写的cpu开销远小于小文件频繁读写的开销。因为在I/O吞吐量一定时，小文件的读写更加频繁，需要更多的cpu来处理I/O的中断。
在Linux/Unix下，CPU利用率分为用户态，系统态和空闲态，分别表示CPU处于用户态执行的时间，系统内核执行的时间，和空闲系统进程执行的时间。平时所说的CPU利用率是指：CPU执行非系统空闲进程的时间 / CPU总的执行时间。
在Linux的内核中，有一个全局变量：Jiffies。 Jiffies代表时间。它的单位随硬件平台的不同而不同。系统里定义了一个常数HZ，代表每秒种最小时间间隔的数目。这样jiffies的单位就是1/HZ。Intel平台jiffies的单位是1/100秒，这就是系统所能分辨的最小时间间隔了。每个CPU时间片，Jiffies都要加1。 CPU的利用率就是用执行用户态+系统态的Jiffies除以总的Jifffies来表示。
cpu的利用率
在Linux系统中，可以用/proc/stat文件来计算cpu的利用率(详细的解释可参考：http://www.linuxhowtos.org/System/procstat.htm)。这个文件包含了所有CPU活动的信息，该文件中的所有值都是从系统启动开始累计到当前时刻。
# cat /proc/stat
0 1 2 3 4 5 6 7
cpu 432661 13295 86656 422145968 171474 233 5346
cpu0 123075 2462 23494 105543694 16586 0 4615
cpu1 111917 4124 23858 105503820 69697 123 371
cpu2 103164 3554 21530 105521167 64032 106 334
cpu3 94504 3153 17772 105577285 21158 4 24
intr 1065711094 1057275779 92 0 6 6 0 4 0 3527 0 0 0 70 0 20 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7376958 0 0 0 0 0 0 0 1054602 0 0 0 0 0 0 0 30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
ctxt 19067887
btime 1139187531
processes 270014
procs_running 1
procs_blocked 0
输出解释
1 从系统启动开始累计到当前时刻，用户态的CPU时间（单位：jiffies） ，不包含 nice值为负进程。1jiffies=0.01秒
2 从系统启动开始累计到当前时刻，nice值为负的进程所占用的CPU时间（单位：jiffies）
3 从系统启动开始累计到当前时刻，核心时间（单位：jiffies）
4 从系统启动开始累计到当前时刻，除硬盘IO等待时间以外其它等待时间（单位：jiffies）
5 从系统启动开始累计到当前时刻，硬盘IO等待时间（单位：jiffies） ，
6 从系统启动开始累计到当前时刻，硬中断时间（单位：jiffies）
7 从系统启动开始累计到当前时刻，软中断时间（单位：jiffies）
CPU时间=user+system+nice+idle+iowait+irq+softirq
“intr”这行给出中断的信息，第一个为自系统启动以来，发生的所有的中断的次数；然后每个数对应一个特定的中断自系统启动以来所发生的次数。
“ctxt”给出了自系统启动以来CPU发生的上下文交换的次数。
“btime”给出了从系统启动到现在为止的时间，单位为秒。
“processes (total_forks) 自系统启动以来所创建的任务的个数目。
“procs_running”：当前运行队列的任务的数目。
“procs_blocked”：当前被阻塞的任务的数目。
CPU利用率计算
那么CPU利用率可以使用以下两个方法。先取两个采样点，然后计算其差值：
cpu usage=(idle2-idle1)/(cpu2-cpu1)*100
cpu usage=[(user_2 +sys_2+nice_2) - (user_1 + sys_1+nice_1)]/(total_2 - total_1)*100
公式
total_0USER[0]+NICE[0]+SYSTEM[0]+IDLE[0]+IOWAIT[0]+IRQ[0]+SOFTIRQ[0]
total_1=USER[1]+NICE[1]+SYSTEM[1]+IDLE[1]+IOWAIT[1]+IRQ[1]+SOFTIRQ[1]
cpu usage=(IDLE[0]-IDLE[1]) / (total_0-total_1) * 100
总CPU使用率
#!/bin/sh
##echo user nice system idle iowait irq softirq
CPULOG_1=$(cat /proc/stat | grep 'cpu ' | awk '{print $2" "$3" "$4" "$5" "$6" "$7" "$8}')
SYS_IDLE_1=$(echo $CPULOG_1 | awk '{print $4}')
Total_1=$(echo $CPULOG_1 | awk '{print $1+$2+$3+$4+$5+$6+$7}')
sleep 1
CPULOG_2=$(cat /proc/stat | grep 'cpu ' | awk '{print $2" "$3" "$4" "$5" "$6" "$7" "$8}')
SYS_IDLE_2=$(echo $CPULOG_2 | awk '{print $4}')
Total_2=$(echo $CPULOG_2 | awk '{print $1+$2+$3+$4+$5+$6+$7}')
SYS_IDLE=`expr $SYS_IDLE_2 - $SYS_IDLE_1`
Total=`expr $Total_2 - $Total_1`
SYS_USAGE=`expr $SYS_IDLE/$Total*100 |bc -l`
SYS_Rate=`expr 100-$SYS_USAGE |bc -l`
Disp_SYS_Rate=`expr "scale=3; $SYS_Rate/1" |bc`
echo $Disp_SYS_Rate%
获得全部CPU相关的user sys wait hirq sirq util
#cat cpu.sh
COLLECT_DIR=$(cd $(dirname $0}); pwd);
BASE_DIR=$(cd $COLLECT_DIR;cd ..;pwd);
source $BASE_DIR/libs/function.sh
CALCULATE_CPU(){
#echo user nice system idle iowait irq softirq
CPULOG_1=$(cat $READ_FILE | grep 'cpu ' | awk '{print $2" "$3" "$4" "$5" "$6" "$7" "$8}')
total_1=$(echo $CPULOG_1 | awk '{print $1+$2+$3+$4+$5+$6+$7}')
old_processes=$(cat /proc/stat |grep -w "processes" | awk '{print $2}')
read user_1 nice_1 sys_1 idle_1 iowait_1 hard_1 soft_1 <<< `echo "$CPULOG_1" |awk '{print $1,$2,$3,$4,$5,$6,$7}'`
sleep 1
CPULOG_2=$(cat /proc/stat | grep 'cpu ' | awk '{print $2" "$3" "$4" "$5" "$6" "$7" "$8}')
total_2=$(echo $CPULOG_2 | awk '{print $1+$2+$3+$4+$5+$6+$7}')
new_processes=$(cat /proc/stat |grep -w "processes" | awk '{print $2}')
read user_2 nice_2 sys_2 idle_2 iowait_2 hard_2 soft_2 <<< `echo "$CPULOG_2" |awk '{print $1,$2,$3,$4,$5,$6,$7}'`
#OFFSET
total_offset=`BC_SUBTRACTION $total_2 $total_1`
user_offset=`BC_SUBTRACTION $user_2 $user_1`
sys_offset=`BC_SUBTRACTION $sys_2 $sys_1`
idle_offset=`BC_SUBTRACTION $idle_2 $idle_1`
iowait_offset=`BC_SUBTRACTION $iowait_2 $iowait_1`
hard_offset=`BC_SUBTRACTION $hard_2 $hard_1`
soft_offset=`BC_SUBTRACTION $soft_2 $soft_1`
#RESULT
idle_util=`BC_DIVISION_100 $idle_offset $total_offset`
util=`BC_SUBTRACTION 100 $idle_util`
sys=`BC_DIVISION_100 $sys_offset $total_offset`
user=`BC_DIVISION_100 $user_offset $total_offset`
iowait=`BC_DIVISION_100 $iowait_offset $total_offset`
hirq=`BC_DIVISION_100 $hard_offset $total_offset`
sirq=`BC_DIVISION_100 $soft_offset $total_offset`
processes=`BC_SUBTRACTION $new_processes $old_processes`
#MESG
MESG "cpu使用" "sys" $sys "%"
MESG "cpu使用" "user" $user "%"
MESG "cpu使用" "iowait" $iowait "%"
MESG "cpu使用" "hirq" $hirq "%"
MESG "cpu使用" "sirq" $sirq "%"
MESG "cpu使用" "util" $util "%"
}
LOOP_CPU(){
while [[ 1 == 1 ]];do
sleep $INTERVAL
CALCULATE_CPU
done
}
MAIN(){
READ_FILE="/proc/stat"
#注意，每个子脚本，这里是不同的!
PID_KEY_NAME="CPU_PID"
TIMEOUT LOOP_CPU
}
MAIN
单CPU使用率
CPU负载
获取方法：
#cat /proc/loadavg
0.00 0.03 0.05 1/690 1014
sysinfo获得cpu load数据
但是注意，这个方法，不适用于容器
[root@jiangyi01.sqa.zmf /home/ahao.mah/gotby/tool]
#cat sysinfo.c
#include <stdio.h>
#include <sys/sysinfo.h>
int main(int argc, char *agrv[]) {
struct sysinfo s_info;
int error;
error = sysinfo(&s_info);
printf("load1: %f\nload5: %f\nload10: %f\n",
(double)s_info.loads[0]/65536.0,
(double)s_info.loads[1]/65536.0,
(double)s_info.loads[2]/65536.0);
printf("available: %lu\n", s_info.freeram/1024);
printf("total: %lu\n", s_info.totalram/1024);
printf("mem_unit: %u \n", s_info.mem_unit)/1024;
return 0;
}
[root@jiangyi01.sqa.zmf /home/ahao.mah/gotby/tool]
#./sysinfo
load1: 0.002930
load5: 0.030762
load10: 0.045410
available: 86632160
total: 98795000
mem_unit: 1
muahao@aliyun.com
