分享一个辅助分析内存泄漏的脚本

　　最近给系统做了一点优化，前几天去查看系统监控，想看看上线前后cpu使用率曲线变化情况。查看的时候意外发现上线前后内存占用相差不少，20%以上。

本来我没怎么在意这个问题，因为我们系统会在运行过程中缓存部分数据内容。但客户觉得有异常，坚持要查。于是把一个月的内存使用情况调出来看，这一看就发现问题了：

　　系统内存占用确实是在缓慢增加，一两天的内存使用率曲线看不出什么，但一个月的可以明显看出来，是一条斜率很小的直线。

　　发现了有内存泄漏，但是想具体分析是哪个进程泄漏的还真不好办。因为我们系统有上千个进程在跑，而监控系统又只记录了总体内存占用情况，没记录单个进程内存占用。

　　没有枪，没有炮，只能自己来造 :) 。 我设计了一个简单的分析方法：

　　1 首先，我写一个脚本，每天定期记录系统所有进程使用情况，保存到文件，以时间戳命名。（用ps实现）

　　2 脚本跑几天后，我再使用另一个脚本，把文件合并起来分析，把每个进程在不同时间点的内存使用情况合并成一行，逐个进程输出

　　3 比较每个进程第一次出现与最后一次出现时占用内存之差，按从小到大排序，即可得出可能存在内存泄漏的程序。

　　效果如下：可以看出这个进程内存占用一直在增加，从第一次统计到最后一次统计之间内存使用增加了1460k

　　知道问题后就好办了，使用valgrind+gdb很快就找出导致内存泄漏的代码，纠正即可。

 

　　下面是分析过程中用到的脚本，希望对大家有帮助

# 20190228 hch 辅助分析程序内存泄漏情况的脚本
# 设计思路：首先用ps定期采集所有程序占用内存情况，生成多个文件。然后使用awk分析ps输出的文件，把相同进程占用的内存合并成一行输出
# 计算进程第一次和最后一次出现的时间点占用内存之差，逆序输出即可获得疑似内存泄漏的程序

# 首先使用以下脚本采集程序每一分钟内存占用信息，采集若干分钟
# while [ 1 ]; do ps -eo 'pid,comm,rsz,vsz,user,comm,args,pcpu,pmem' --sort rsz > ps_info_$(date "+%Y%m%d%H%M%S").txt ; sleep 60; done

# 使用awk脚本分析内存占用信息 把进程每一个时间点的内存占用情况合并成一行方便对比
# 并且统计进程第一次出现和最后一次出现占用内存差，输出
awk '{
    # 每次处理一个新文件时需要特殊处理一下 
    if (FNR == 1) {
        # 登记文件名称
        v_all_file_name = v_all_file_name "," FILENAME;
        v_prefix_str = v_prefix_str ",";
        ++v_file_cnt;
        
        # 把上次文件没有出现的pid补上
        if (NR != 1) { # FNR == 1 && NR == 1 代表第一个文件
            for (v_pid_name in v_mp_pid_cnt) {
                if (v_mp_pid_cnt[v_pid_name] != v_file_cnt - 1) {
                    v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] ","
                    v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] ","
                    v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1;
                }
            }
        }
    }
    
    v_pid_name = $2 "-" $1 "-" $5; #程序名-进程号-用户名
    # 非第一个文件，第一次出现，需要补齐","
    if (v_file_cnt != 1 && v_mp_pid_cnt[v_pid_name] == 0) {
        v_mp_pid_rsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] = substr(v_prefix_str, 1, v_file_cnt - 1);
        v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1;
    }
    
    # rsz是物理内存 单位k
    v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] "," $3
    # 记录最后值和初始值 方便后面分析（有需要可以改成最大和最小值）
    #if ($3 > v_mp_pid_rsz_max[v_pid_name]) v_mp_pid_rsz_max[v_pid_name] = $3;
    v_mp_pid_rsz_max[v_pid_name] = $3;
    if (v_mp_pid_rsz_min[v_pid_name] == 0 ) # || $3 < v_mp_pid_rsz_min[v_pid_name]
        v_mp_pid_rsz_min[v_pid_name] = $3;
    
    # vsz是虚存 单位k
    v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] "," $4
    v_mp_pid_vsz_max[v_pid_name] = $4;
    if (v_mp_pid_vsz_min[v_pid_name] == 0 ) # || $4 < v_mp_pid_rsz_min[v_pid_name]
        v_mp_pid_vsz_min[v_pid_name] = $4;
        
    # 在本文件出现过就标记一下，后面文件处理完后才知道哪些进程没出现
    v_mp_pid_cnt[v_pid_name] = v_file_cnt;
}
END {
    print v_all_file_name
    for (v_pid_name in v_mp_pid_rsz) {
        print "rsz:"v_pid_name, v_mp_pid_rsz_max[v_pid_name] - v_mp_pid_rsz_min[v_pid_name], v_mp_pid_rsz[v_pid_name]
        print "vsz:"v_pid_name, v_mp_pid_vsz_max[v_pid_name] - v_mp_pid_vsz_min[v_pid_name], v_mp_pid_vsz[v_pid_name];
    }
}' $(ls -rt ps_inf*txt) > ps_trace.txt #按时间逆序分析

# 将分析结果排序输出
# sh ps_trace.sh; sork -k2n ps_trace.txt | tail -100