事出反常必有妖--记录一次内存泄漏

            top -H -p [pid]   查看进程的线程情况。

            ps -mp [pid]  -o THREAD,tid,time | sort -rn  查看线程情况 

           printf "%x\n" tid    // 十六进制

          jstack [pid] |grep [tid] -A 30

          jstack -l  [pid]  ，

         以上排查高CPU占用率的相关命令。线上排除了死锁的情况，我们从内存泄漏排查开始介绍。

           jstat -gc [pid]   [milliseconds]     查看GC情况 ，发现 FGCT很长，同时分配的内存基本被占满。,判断内存泄漏问题。

 

 

 此时已经切换了流量，jstack [pid] 记录线程 dump , jmap 产生 dump 文件，jmap -dump:format=b,file=20181510.bin  [pid]，生成二进制dump文件。

分析dump 文件中的大对象， eclipse MAT 对比日志发现 886行一个toJson操作，发现循环体没有正常结束，原来是循环体没有正常退出，遍历一个list时，list进行了add操作，这个循环将近执行30次，list以指数增长，toJson存到缓存时占用将近200M,在反序列化的时候内存不够用了，机器一直FULLGC.