Java虚拟机监控工具及故障处理工具(汇总)

概述

给一个系统定位问题的时候，知识、经验是关键基础，数据是依据，工具是运用知识处理数据的手段。这里说的数据包括：运行日志、异常堆栈、GC日志、线程快照（threaddump/javacore文件）、堆转储快照（heapdump/hprof文件）等

jps：虚拟机进程状况工具

jps可以列出正在运行的虚拟机进程，并显示虚拟机执行主类名称以及这些进程的本地虚拟机卫衣的ID

jps命令

jps[options][hostid]

参数说明

选项	作用
-q	只输出LVMID，省略主类的名称
-m	输出虚拟机进程启动时传递给主类main()函数
-l	输出主类的全名，如果进程执行的是jar包，输出Jar路径
-v	输出虚拟机进程启动时JVM的参数

简单例子说明

jps -l

jstat: 虚拟机统计信息监视工具

用于监视虚拟机各种运行信息的工具。它可以显示本地或着远程虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据

jstat命令

jstat[options vmid[interval[s|ms][count]]]

interval 和 count 代表查询间隔和次数，如果缺省这两个参数，说明只查询一次

options参数说明

选项	作用
-class	监视类装载、卸载数量、总空间以及类装载所耗费的时间
-gc	监视java堆状况，包括Eden区、两个survivor区、老年代、永久代的容量、已用空间、GC时间合计等信息
-gccapacity	监视内容与 -gc 基本相同，但是输出主要关注Java堆各个区域使用到的最大、最小空间
-gcutil	监视内容与 -gc 基本相同，但是主要关注已使用空间占总空间的百分比
-gccause	与状况 -gcutil 功能一样，但是会额外输出导致上次gc产生的原因
-gcnew	监视新生代gc状况
-gcnewcapacity	监视内容与 -gcnew 基本相同，但是输出主要关注使用到的最大、最小空间
-gcold	监视老年代gc状况
-gcoldcapacity	监视内容与 -gcold 基本相同，但是输出主要关注使用到的最大、最小空间
-gcpermcapacity	输出永久代使用到的最大、最小空间
-compiler	输出 JIT 编译器编译过的方法、耗时等信息
-printcompilation	输出已经被 JIT 编译的方法

更多参数信息可以查看文档，地址：
https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html

简单例子说明

jstat -gc 26937 250 2

其中各个统计项含义：
capacity：总容量
utilization：已使用

• S0C: Current survivor space 0 capacity (kB).
• S1C: Current survivor space 1 capacity (kB).
• S0U: Survivor space 0 utilization (kB).
• S1U: Survivor space 1 utilization (kB).
• EC: Current eden space capacity (kB).
• EU: Eden space utilization (kB).
• OC: Current old space capacity (kB).
• OU: Old space utilization (kB).
• MC: Metaspace capacity (kB).
• MU: Metacspace utilization (kB).
• CCSC: Compressed class space capacity (kB).
• CCSU: Compressed class space used (kB).
• YGC - 新生代垃圾回收次数
• YGCT - 新生代垃圾回收耗时
• FGC - full gc 次数
• FGCT - full gc 耗时
• GCT - 垃圾回收总耗时

jamp:Java内存映像工具

打印出某个java进程（使用pid）内存内的，所有‘对象’的情况（如：产生那些对象，及其数量）。它的用途是为了展示java进程的内存映射信息，或者堆内存详情。
可以输出所有内存中对象的工具，甚至可以将VM 中的heap，以二进制输出成文本。

jmap命令：

jmap [option] <pid>
        (to connect to running process) 连接到正在运行的进程

    jmap [option] <executable <core>
        (to connect to a core file)     连接到核心文件

    jmap [option] [server_id@]<remote server IP or hostname>
        (to connect to remote debug server) 连接到远程调试服务

参数说明

pid:    目标进程的PID，进程编号，可以采用ps -ef | grep java 查看java进程的PID;
executable:     产生core dump的java可执行程序;
core:     将被打印信息的core dump文件;
remote-hostname-or-IP:     远程debug服务的主机名或ip;
server-id:     唯一id,假如一台主机上多个远程debug服务;

如果使用不带选项参数的jmap打印共享对象映射，将会打印目标虚拟机中加载的每个共享对象的起始地址、映射大小以及共享对象文件的路径全称

option参数使用

选项	作用
-finalizerinfo	打印正等候回收的对象的信息
-heap	打印heap的概要信息，GC使用的算法，heap的配置及wise heap的使用情况
-histo[:live]	打印每个class的实例数目,内存占用,类全名信息. VM的内部类名字开头会加上前缀”*”. 如果live子参数加上后,只统计活的对象数量
-permstat	打印classload和jvm heap长久层的信息. 包含每个classloader的名字,活泼性,地址,父classloader和加载的class数量. 另外,内部String的数量和占用内存数也会打印出来
-F	强迫.在pid没有响应的时候使用-dump或者-histo参数. 在这个模式下,live子参数无效
-h -help	打印辅助信息
-J	传递参数给jmap启动的jvm

简单例子说明

通过jmap -dump:format=b,file=jmap.txt 26937将日志文件打印到文本中，可以看到当前目录下多了一个日志文件
利用MemoryAnalyzer软件打开日志文件，即可看到相关信息。如图所示

MemoryAnalyzer软件下载链接http://49.234.100.112:8000/f/6c4f90d289/，如若过期，可与我联系
MemoryAnalyzer软件的使用说明请自行查阅

jstack:Java堆栈跟踪工具

• jstack(Stack Trace for Java)命令用于生成虚拟机当前时刻的线程快照（一般称为threaddump或javacore文件，线程快照就是当前虚拟机内每一条线程正在执行方法堆栈的集合）
• 主要目的是定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间等待等都是导致线程长时间停顿的原因。
  线程出现停顿的时候通过jstack命令来查看各个线程的调用堆栈，就可以知道没有响应的线程到底在后台做些什么事情，或者等待着什么资源。

jstack命令：

Usage:
    jstack [-l] <pid>
        (to connect to running process)
    jstack -F [-m] [-l] <pid>
        (to connect to a hung process)
    jstack [-m] [-l] <executable> <core>
        (to connect to a core file)
    jstack [-m] [-l] [server_id@]<remote server IP or hostname>
        (to connect to a remote debug server)

Options:
    -F  to force a thread dump. Use when jstack <pid> does not respond (process is hung)
    -m  to print both java and native frames (mixed mode)
    -l  long listing. Prints additional information about locks
    -h or -help to print this help message

-F 当’jstack [-l] pid’没有响应的时候强制打印栈信息,如果直接jstack无响应时，用于强制jstack，一般情况不需要使用

-l 长列表. 打印关于锁的附加信息,例如属于java.util.concurrent的ownable synchronizers列表，会使得JVM停顿得长久得多（可能会差很多倍，比如普通的jstack可能几毫秒和一次GC没区别，加了-l 就是近一秒的时间），-l 建议不要用。一般情况不需要使用

-m 打印java和native c/c++ 框架的所有栈信息.可以打印JVM的堆栈,显示上Native的栈帧，一般应用排查不需要使用

将jstack堆栈信息生成到文件中

• 首先确定当前项目的pid是多少(也就是进程ID)，如图所示（也可以使用其他命令查询id，如jps等）
  
• 通过命令将信息 打入到文件中 jstack 8566 >> /home/test.txt
• 我们再用IBM Thread and Monitor Dump Analyzer for Java这个工具来分析。这里可以清晰的看到线程数状态统计，和每个线程的状态。

关于jstack Dump 日志文件中的线程状态

dump 文件里，值得关注的线程状态有：

• 死锁，Deadlock（重点关注）
• 执行中，Runnable
• 等待资源，Waiting on condition（重点关注）
• 等待获取监视器，Waiting on monitor entry（重点关注）
• 暂停，Suspended
• 对象等待中，Object.wait() 或 TIMED_WAITING
• 阻塞，Blocked（重点关注）
• 停止，Parked

含义分析如下：

Deadlock:死锁线程

一般指多个线程调用间，进入相互资源占用，导致一直等待无法释放的情况。

Runable:

一般指该线程正在执行状态中，该线程占用了资源，正在处理某个请求，有可能正在传递SQL到数据库执行，有可能在对某个文件进行操作，有可能进行数据类型转换。

Waiting on condition:

等待资源，或等待某个条件的发生。具体原因需结合stacktrace来分析。如果堆栈信息明确是应用代码，则证明该线程正在等待资源。一般是大量读取某资源，且该资源采用了资源锁的情况下，线程进入了等待状态，等待资源的读取。或正在等待其他现场的执行。如果发现有大量的线程都处在Wait on Condition，从线程的stack看，正等待网络读写，这可能是一个网络瓶颈的征兆，是因为网络阻塞导致线程无法执行，一种情况是网络非常忙，几乎消耗了所有带宽，仍然有大量的数据等待网络读写；另一种情况也可能是网络空闲，但由于路由等问题，导致包无法正常的到达。又或者是该线程在sleep,等待sleep的时间到了，将被唤醒

Blocked：线程阻塞

是指当前线程执行过程中，所需要的资源长时间等待却一直未能获取到，被容器的线程管理器表示为阻塞状态，可以理解为等待资源超时的线程。

Waiting for monitor entry 和 in Object.wait():

monitor是java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者Class的锁。每一个对象都有且只有一个monitor。当某个线程期待获得Monitor及对象的锁，而在锁被其他线程拥有的时候，这个线程就会进入Entry Set区域。曾经获得过锁，但是其他必要条件不满足而需要wait的线程就进入了Wait Set区域。

利用IBM Thread and Monitor Dump Analyzer for Java打开刚刚的test日志文件查看，如图所示

其中线程的详细信息可以点击红框按钮，如图所示：

可以根据上文中jstack Dump日志文件中的线程状态中描述值得重点关注的线程状态，查看各个线程是否有异常情况