JVM调优的liunx命令

在平时的运维工作中，我们经常会碰到下面这些问题：

1、OutOfMemoryError，内存不足 

2、内存泄露 

3、线程死锁 

4、锁争用（Lock Contention） 

5、Java进程消耗CPU过高

导致服务器CPU或者内存飙高影响线上业务，对于解决以上问题，我们常用的JVM性能调优监控工具有：jps、jstat、jstack、jmap、jhat、hprof、jinfo

如果想要查看Java进程中线程堆栈的信息，可以选择jstack，如果要查看堆内存，可以使用jmap导出并使用jhat来进行分析，包括查看类的加载信息，GC算法那，对象的使用情况等，还可以使用jstat来对JVM进行统计监测，包括查看各个区内存和GC的情况，还可以使用hprof能够展现CPU使用率，统计堆内存使用情况。

1、jps命令：

作用：

主要用来输出JVM中运行的进程状态信息。语法格式如下：

语法格式：

jps [options] [hostid]

如果不指定hostid就默认为当前主机或服务器。

命令参数：

-q 不输出类名、Jar名和传入main方法的参数

-m 输出传入main方法的参数

-l 输出main类或Jar的全限名

-v 输出传入JVM的参数

 

[root@web02 ~]# jps -lm

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

9346 org.apache.catalina.startup.Bootstrap start

19301 GpsTracker4.jar12520 org.apache.catalina.startup.Bootstrap start

25402 GPSTracker1.jar18463 GPSTracker5.jar7940 org.apache.catalina.startup.Bootstrap start

12452 org.apache.catalina.startup.Bootstrap start

8865 org.apache.catalina.startup.Bootstrap start

5489 org.apache.catalina.startup.Bootstrap start

1568 org.apache.catalina.startup.Bootstrap start

32543 GPSTracker2.jar25441 org.apache.catalina.startup.Bootstrap start

574 org.apache.catalina.startup.Bootstrap start

14498 org.apache.catalina.startup.Bootstrap start

25453 ./DEyesPushServer.jar2723 org.apache.catalina.startup.Bootstrap start

10584 bdwiseGpsTrack.jar2031 org.apache.catalina.startup.Bootstrap start

 

加入参数-V后，会把jvm的启动参数全部输出：

[root@web02 ~]# jps -lmv

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

9346 org.apache.catalina.startup.Bootstrap start -Djava.util.logging.config.file=/home/tomcat/tomcat6/9704_event/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Xms256m -Xmx3072m -XX:PermSize=256M -XX:MaxPermSize=768M -Djava.endorsed.dirs=/home/tomcat/tomcat6/9704_event/endorsed -Dcatalina.base=/home/tomcat/tomcat6/9704_event -Dcatalina.home=/home/tomcat/tomcat6/9704_event -Djava.io.tmpdir=/home/tomcat/tomcat6/9704_event/temp -Dawt.useSystemAAFontSettings=lcd

19301 GpsTracker4.jar -Dawt.useSystemAAFontSettings=lcd

12520 org.apache.catalina.startup.Bootstrap start -Djava.util.logging.config.file=/home/tomcat/tomcat_gps_prod/9301_gpstrack/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Xms256m -Xmx3072m -XX:PermSize=256M -XX:MaxPermSize=768M -Djava.endorsed.dirs=/home/tomcat/tomcat_gps_prod/9301_gpstrack/endorsed -Dcatalina.base=/home/tomcat/tomcat_gps_prod/9301_gpstrack -Dcatalina.home=/home/tomcat/tomcat_gps_prod/9301_gpstrack -Djava.io.tmpdir=/home/tomcat/tomcat_gps_prod/9301_gpstrack/temp -Dawt.useSystemAAFontSettings=lcd

25402 GPSTracker1.jar -Dawt.useSystemAAFontSettings=lcd

18463 GPSTracker5.jar -Dawt.useSystemAAFontSettings=lcd

 

2.jstat命令

作用：

用于监视虚拟机运行时状态信息的命令，它可以显示出虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据

语法格式：

jstat [option] LVMID [interval] [count]

 

参数含义：

[option] : 操作参数

LVMID : Java虚拟机ID，在Linux/Unix系统上一般就是进程ID

[interval] : 是采样时间间隔

[count] : count是采样数目

 

 

option参数总览： 

 

option 参数详解

-class：监视类装载、卸载数量、总空间以及耗费的时间

[root@web02 ~]# jstat -class 9346

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Loaded Bytes Unloaded Bytes Time

31909 64439.1 998 2028.2 22.75

[root@web02 ~]# jstat -class 12520

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Loaded Bytes Unloaded Bytes Time

7696 15390.2 0 0.0 8.84

[root@web02 ~]# jstat -class 7940

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Loaded Bytes Unloaded Bytes Time

27776 54941.7 136 292.5 27.44

 

Loaded : 加载class的数量

Bytes : class字节大小

Unloaded : 未加载class的数量

Bytes : 未加载class的字节大小

Time : 加载时间

 

-compiler：输出JIT编译过的方法数量耗时等

[root@web02 ~]# jstat -compiler 9346

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Compiled Failed Invalid Time FailedType FailedMethod

6262 5 0 137.64 1 org/springframework/context/annotation/CommonAnnotationBeanPostProcessor buildResourceMetadata

[root@web02 ~]# jstat -compiler 12520

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Compiled Failed Invalid Time FailedType FailedMethod

1013 3 0 18.29 1 org/apache/catalina/loader/WebappClassLoader findResourceInternal

[root@web02 ~]# jstat -compiler 7940

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Compiled Failed Invalid Time FailedType FailedMethod

4163 2 0 84.02 1 org/apache/catalina/loader/WebappClassLoader findResourceInternal

[root@web02 ~]# ps -ef | grep 7940

root 5665 4118 0 17:29 pts/11 00:00:00 grep 7940

 

 

Compiled : 编译数量 

Failed : 编译失败数量 

Invalid : 无效数量 

Time : 编译耗时 

FailedType : 失败类型 

FailedMethod : 失败方法的全限定名 

-gc：垃圾回收堆的行为统计，常用命令

[root@web02 ~]# jstat -gc 9346Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

S0C S1C S0U S1U EC EU OC OU PC PU YGC YGCT FGC FGCT GCT

20992.0 32256.0 4952.4 0.0 227840.0 147675.8 222720.0 167726.6 262144.0 188115.3 46 1.324 5 2.933 4.256

 

比如下面输出的是GC信息，采样时间间隔为250ms，采样数为4：

[root@web02 ~]# jstat -gc 9346 250 4Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

S0C S1C S0U S1U EC EU OC OU PC PU YGC YGCT FGC FGCT GCT

20992.0 32256.0 4952.4 0.0 227840.0 147678.0 222720.0 167726.6 262144.0 188118.3 46 1.324 5 2.933 4.25620992.0 32256.0 4952.4 0.0 227840.0 147678.0 222720.0 167726.6 262144.0 188118.3 46 1.324 5 2.933 4.25620992.0 32256.0 4952.4 0.0 227840.0 147678.0 222720.0 167726.6 262144.0 188118.3 46 1.324 5 2.933 4.25620992.0 32256.0 4952.4 0.0 227840.0 147678.0 222720.0 167726.6 262144.0 188118.3 46 1.324 5 2.933 4.256

 

 

要明白上面各列的意义，先看JVM堆内存布局： 

 

可以看出：

 

堆内存 = 年轻代 + 年老代 + 永久代 

年轻代 = Eden区 + 两个Survivor区（From和To）

现在来解释各列含义：

C即Capacity 总容量，U即Used 已使用的容量

 

S0C : survivor0区的总容量 

S1C : survivor1区的总容量 

S0U : survivor0区已使用的容量 

S1C : survivor1区已使用的容量 

EC : Eden区的总容量 

EU : Eden区已使用的容量 

OC : Old区的总容量 

OU : Old区已使用的容量 

PC 当前perm的容量 (KB) 

PU perm的使用 (KB) 

YGC : 新生代垃圾回收次数 

YGCT : 新生代垃圾回收时间 

FGC : 老年代垃圾回收次数 

FGCT : 老年代垃圾回收时间 

GCT : GC垃圾回收总消耗时间

-gcutil：同-gc，不过输出的是已使用空间占总空间的百分比

[root@web02 etc]# jstat -gcutil 29544

S0 S1 E O P YGC YGCT FGC FGCT GCT

62.67 0.00 65.20 16.10 99.85 34 1.235 0 0.000 1.235

 

-gccause：垃圾收集统计概述（同-gcutil），附加最近两次垃圾回收事件的原因

[root@web02 etc]# jstat -gccause 29544

S0 S1 E O P YGC YGCT FGC FGCT GCT LGCC GCC

62.67 0.00 65.20 16.10 99.85 34 1.235 0 0.000 1.235 Allocation Failure No GC

 

 

LGCC：最近垃圾回收的原因 

GCC：当前垃圾回收的原因 

-gcnew：统计新生代的行为

[root@web02 etc]# jstat -gcnew 29544

S0C S1C S0U S1U TT MTT DSS EC EU YGC YGCT

34944.0 34944.0 21900.2 0.0 16 31 17472.0 279616.0 182323.5 34 1.235

 

 

TT：Tenuring threshold(提升阈值) 

MTT：最大的tenuring threshold 

DSS：survivor区域大小 (KB) 

-gcnewcapacity：新生代与其相应的内存空间的统计

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

NGCMN NGCMX NGC S0CMX S0C S1CMX S1C ECMX EC YGC FGC

349504.0 349504.0 349504.0 34944.0 34944.0 34944.0 34944.0 279616.0 279616.0 34 0

 

 

NGC:当前年轻代的容量 (KB) 

S0CMX:最大的S0空间 (KB) 

S0C:当前S0空间 (KB) 

ECMX:最大eden空间 (KB) 

EC:当前eden空间 (KB)

-gcold：统计旧生代的行为

[root@web02 etc]# jstat -gclod 29544

PC PU OC OU YGC FGC FGCT GCT

164480.0 164236.6 699072.0 112581.0 34 0 0.000 1.235

 

-gcoldcapacity：统计旧生代的大小和空间

[root@web02 etc]# jstat -gcoldcapacity 29544

OGCMN OGCMX OGC OC YGC FGC FGCT GCT

699072.0 699072.0 699072.0 699072.0 34 0 0.000 1.235

 

-gcpermcapacity：永生代行为统计

[root@web02 etc]# jstat -gcpermcapacity 29544

PGCMN PGCMX PGC PC YGC FGC FGCT GCT

131072.0 262144.0 164480.0 164480.0 34 0 0.000 1.235

 

-printcompilation：hotspot编译方法统计

[root@web02 etc]# jstat -printcompilation 29544

Compiled Size Type Method

2957 1032 1 org/apache/jasper/compiler/SmapUtil$SDEInstaller copyConstantPool

 

 

Compiled：被执行的编译任务的数量 

Size：方法字节码的字节数 

Type：编译类型 

Method：编译方法的类名和方法名。类名使用”/” 代替 “.” 作为空间分隔符. 方法名是给出类的方法名. 格式是一致于HotSpot – XX:+PrintComplation 选项

 

jmap命令： 

作用：

jmap(JVM Memory Map)命令用来查看堆内存使用状况，一般结合jhat使用，用于生成heap dump文件，如果不使用这个命令，还可以使用-XX:+HeapDumpOnOutOfMemoryError参数来让虚拟机出现OOM的时候·自动生成dump文件。jmap不仅能生成dump文件，还可以查询finalize执行队列、Java堆和永久代的详细信息，如当前使用率、当前使用的是哪种收集器等。

命令格式：

jmap [option] LVMID

 

option参数：

 

dump : 导出内存转储快照 

finalizerinfo : 显示在F-Queue队列等待Finalizer线程执行finalizer方法的对象 

heap : 显示Java堆详细信息 

histo : 显示堆中对象的统计信息 

permstat : to print permanent generation statistics 

F : 当-dump没有响应时，强制生成dump快照

-permstat：打印进程的类加载器和类加载器加载的持久代对象信息，输出：类加载器名称、对象是否存活（不可靠）、对象地址、父类加载器、已加载的类大小等信息

$ jmap -permstat 28920

Attaching to process ID 28920, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 24.71-b01

finding class loader instances ..done.

computing per loader stat ..done.

please wait.. computing liveness.liveness analysis may be inaccurate ...

 

class_loader classes bytes parent_loader alive? type

<bootstrap> 3111 18154296 null live <internal>

0x0000000600905cf8 1 1888 0x0000000600087f08 dead sun/reflect/DelegatingClassLoader@0x00000007800500a0

0x00000006008fcb48 1 1888 0x0000000600087f08 dead sun/reflect/DelegatingClassLoader@0x00000007800500a0

0x00000006016db798 0 0 0x00000006008d3fc0 dead java/util/ResourceBundle$RBClassLoader@0x0000000780626ec0

0x00000006008d6810 1 3056 null dead sun/reflect/DelegatingClassLoader@0x00000007800500a0

 

-heap：查看进程堆内存使用情况，包括使用的GC算法、堆配置参数和各代中堆内存使用情况,可以用此来判断内存目前的使用情况以及垃圾回收情况

[root@web02 etc]# jmap -heap 29544

Attaching to process ID 29544, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 24.71-b01

 

using parallel threads in the new generation.

using thread-local object allocation.

Concurrent Mark-Sweep GC

 

Heap Configuration:

MinHeapFreeRatio = 40

MaxHeapFreeRatio = 70

MaxHeapSize = 1073741824 (1024.0MB)

NewSize = 357892096 (341.3125MB)

MaxNewSize = 357892096 (341.3125MB)

OldSize = 715784192 (682.625MB)

NewRatio = 2

SurvivorRatio = 8

PermSize = 134217728 (128.0MB)

MaxPermSize = 268435456 (256.0MB)

G1HeapRegionSize = 0 (0.0MB)

 

Heap Usage:

New Generation (Eden + 1 Survivor Space):

capacity = 322109440 (307.1875MB)

used = 231861032 (221.11991119384766MB)

free = 90248408 (86.06758880615234MB)

71.98206671620676% used

Eden Space:

capacity = 286326784 (273.0625MB)

used = 209435192 (199.73296356201172MB)

free = 76891592 (73.32953643798828MB)

73.14551194763533% used

From Space:

capacity = 35782656 (34.125MB)

used = 22425840 (21.386947631835938MB)

free = 13356816 (12.738052368164062MB)

62.672374012706044% used

To Space:

capacity = 35782656 (34.125MB)

used = 0 (0.0MB)

free = 35782656 (34.125MB)

0.0% used

concurrent mark-sweep generation:

capacity = 715849728 (682.6875MB)

used = 115282968 (109.9424057006836MB)

free = 600566760 (572.7450942993164MB)

16.104353119206607% used

Perm Generation:

capacity = 168427520 (160.625MB)

used = 168178312 (160.38733673095703MB)

free = 249208 (0.23766326904296875MB)

99.85203843172422% used

 

52703 interned Strings occupying 5899960 bytes.

 

 

可以很清楚的看到Java堆中各个区域目前的情况。

-histo：打印堆的对象统计，包括对象数、内存大小等等 （因为在dump:live前会进行full gc，如果带上live则只统计活对象，因此不加live的堆大小要大于加live堆的大小 ）

root@web02 etc]# jmap -histo:live 29544 | more

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

 

num #instances #bytes class name

----------------------------------------------

1: 294647 42231088 <constMethodKlass>

2: 294647 37726512 <methodKlass>

3: 30310 32955000 <constantPoolKlass>

4: 92965 27338592 [B

5: 254526 26667336 [C

6: 30310 21857304 <instanceKlassKlass>

7: 24015 17222656 <constantPoolCacheKlass>

8: 89222 6150624 [Ljava.lang.Object;

9: 250330 6007920 java.lang.String

10: 50382 4030560 java.lang.reflect.Method

11: 44966 3683408 [Ljava.util.HashMap$Entry;

12: 82747 3309880 java.util.LinkedHashMap$Entry

13: 5129 3286856 <methodDataKlass>

14: 99275 3176800 java.util.concurrent.ConcurrentHashMap$HashEntry

15: 98922 3165504 java.util.HashMap$Entry

16: 31965 3020128 java.lang.Class

17: 47367 2341800 [[I

18: 40473 2188416 [S

19: 25680 1438080 java.util.LinkedHashMap

20: 23419 1234360 [Ljava.lang.String;

21: 7983 1145488 [I

22: 44966 1079184 java.util.HashMap$FrontCache

23: 8249 1064896 [Ljava.util.concurrent.ConcurrentHashMap$HashEntry;

24: 21452 1029696 org.apache.catalina.loader.ResourceEntry

25: 23879 955160 java.lang.ref.SoftReference

26: 29514 944448 java.lang.ref.WeakReference

27: 38989 935736 java.util.ArrayList

 

xml class name是对象类型，说明如下：

B byte

C char

D double

F float

I int

J long

Z boolean

[ 数组，如[I表示int[]

[L+类名 其他对象

 

-dump:导出内存转储快照

常用格式：

 

-dump::live,format=b,file= pid 

dump：堆到文件 

format：指定输出格式 

live：指明是活着的对象 

file：指定文件名

dump.hprof这个后缀是为了后续可以直接用MAT(Memory Anlysis Tool)打开。

-finalizerinfo：打印等待回收对象的信息

[root@web02 home]# jmap -finalizerinfo 29544

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

Attaching to process ID 29544, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 24.71-b01

Number of objects pending for finalization: 0

 

可以看到当前F-QUEUE队列中并没有等待Finalizer线程执行finalizer方法的对象。

-F：强制模式。如果指定的pid没有响应，请使用jmap -dump或jmap -histo选项。此模式下，不支持live子选项。

jhat命令：

作用：

jhat(JVM Heap Analysis Tool)命令是与jmap搭配使用，用来分析jmap生成的dump，jhat内置了一个微型的HTTP/HTML服务器，生成dump的分析结果后，可以在浏览器中查看。在此要注意，一般不会直接在服务器上进行分析，因为jhat是一个耗时并且耗费硬件资源的过程，一般把服务器生成的dump文件复制到本地或其他机器上进行分析。

命令格式：

jhat [dumpfile]

 

命令参数：

-stack false|true

 

关闭对象分配调用栈跟踪(tracking object allocation call stack)。 如果分配位置信息在堆转储中不可用. 则必须将此标志设置为 false. 默认值为 true.

-refs false|true

关闭对象引用跟踪(tracking of references to objects)。 默认值为 true. 默认情况下, 返回的指针是指向其他特定对象的对象,如反向链接或输入引用(referrers or incoming references), 会统计/计算堆中的所有对象。

-port port-number

 

设置 jhat HTTP server 的端口号. 默认值 7000. 

-exclude exclude-file

指定对象查询时需要排除的数据成员列表文件(a file that lists data members that should be excluded from the reachable objects query)。 例如, 如果文件列列出了 java.lang.String.value , 那么当从某个特定对象 Object o 计算可达的对象列表时, 引用路径涉及 java.lang.String.value 的都会被排除。

-baseline exclude-file

指定一个基准堆转储(baseline heap dump)。 在两个 heap dumps 中有相同 object ID 的对象会被标记为不是新的(marked as not being new). 其他对象被标记为新的(new). 在比较两个不同的堆转储时很有用.

-debug int

设置 debug 级别. 0 表示不输出调试信息。 值越大则表示输出更详细的 debug 信息.

-version

 

启动后只显示版本信息就退出 

-J< flag >

因为 jhat 命令实际上会启动一个JVM来执行, 通过 -J 可以在启动JVM时传入一些启动参数. 例如, -J-Xmx512m 则指定运行 jhat 的Java虚拟机使用的最大堆内存为 512 MB. 如果需要使用多个JVM启动参数,则传入多个 -Jxxxxxx.

示例：

$ jhat -J-Xmx512m dump.hprof

eading from dump.hprof...

Dump file created Fri Mar 11 17:13:42 CST 2016

Snapshot read, resolving...

Resolving 271678 objects...

Chasing references, expect 54 dots......................................................

Eliminating duplicate references......................................................

Snapshot resolved.

Started HTTP server on port 7000

Server is ready.

 

中间的-J-Xmx512m是在dump快照很大的情况下分配512M内存去启动HTTP服务器，运行完之后就可在浏览器打开Http://localhost:7000进行快照分析 堆快照分析主要在最后面的Heap Histogram里，里面根据class列出了dump的时候所有存活对象。

 

分析同样一个dump快照，MAT需要的额外内存比jhat要小的多的多，所以建议使用MAT来进行分析，当然也看个人偏好。 

分析

打开浏览器Http://localhost:7000，该页面提供了几个查询功能可供使用：

All classes including platform

Show all members of the rootset

Show instance counts for all classes (including platform)

Show instance counts for all classes (excluding platform)

Show heap histogram

Show finalizer summary

Execute Object Query Language (OQL) query

 

一般查看堆异常情况主要看这个两个部分： Show instance counts for all classes (excluding platform)，平台外的所有对象信息。如下图：

Show heap histogram 以树状图形式展示堆情况。如下图：

具体排查时需要结合代码，观察是否大量应该被回收的对象在一直被引用或者是否有占用内存特别大的对象无法被回收。

一般情况，会down到客户端用工具来分析

jstack命令

jstack用于生成java虚拟机当前时刻的线程快照。线程快照是当前java虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间等待等。

线程出现停顿的时候通过jstack来查看各个线程的调用堆栈，就可以知道没有响应的线程到底在后台做什么事情，或者等待什么资源。 如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。

另外，jstack工具还可以附属到正在运行的java程序中，看到当时运行的java程序的java stack和native stack的信息, 如果现在运行的java程序呈现hung的状态，jstack是非常有用的。

命令格式

jstack [option] LVMID

option参数

-F : 当正常输出请求不被响应时，强制输出线程堆栈

-l : 除堆栈外，显示关于锁的附加信息

-m : 如果调用到本地方法的话，可以显示C/C++的堆栈

示例

root@web02 home]# jstack -l 29544 | more

Picked up _JAVA_OPTIONS: -Dawt.useSystemAAFontSettings=lcd

2017-12-15 10:49:21

Full thread dump Java HotSpot(TM) 64-Bit Server VM (24.71-b01 mixed mode):

 

"Attach Listener" daemon prio=10 tid=0x00007f2bf4002000 nid=0x2f4f waiting on condition [0x0000000000000000]

java.lang.Thread.State: RUNNABLE

 

Locked ownable synchronizers:

- None

 

"Abandoned connection cleanup thread" daemon prio=10 tid=0x00007f2bac1fa000 nid=0x5e45 in Object.wait() [0x00007f2c1c672000]

java.lang.Thread.State: TIMED_WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:135)

- locked <0x00000000cab2d240> (a java.lang.ref.ReferenceQueue$Lock)

at com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:43)

 

Locked ownable synchronizers:

- None

分析

线程状态

 

NEW,未启动的。不会出现在Dump中。 

RUNNABLE,在虚拟机内执行的。 

BLOCKED,受阻塞并等待监视器锁。 

WATING,无限期等待另一个线程执行特定操作。 

TIMED_WATING,有时限的等待另一个线程的特定操作。 

TERMINATED,已退出的。

Monitor

在多线程的 JAVA程序中，实现线程之间的同步，就要说说 Monitor。 Monitor是 Java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者 Class的锁。每一个对象都有，也仅有一个 monitor。下 面这个图，描述了线程和 Monitor之间关系，以 及线程的状态转换图：

进入区(Entrt Set):表示线程通过synchronized要求获取对象的锁。如果对象未被锁住,则迚入拥有者;否则则在进入区等待。一旦对象锁被其他线程释放,立即参与竞争。

拥有者(The Owner):表示某一线程成功竞争到对象锁。

等待区(Wait Set):表示线程通过对象的wait方法,释放对象的锁,并在等待区等待被唤醒。

从图中可以看出，一个 Monitor在某个时刻，只能被一个线程拥有，该线程就是 “Active Thread”，而其它线程都是 “Waiting Thread”，分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的线程状态是 “Waiting for monitor entry”，而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。 先看 “Entry Set”里面的线程。我们称被 synchronized保护起来的代码段为临界区。当一个线程申请进入临界区时，它就进入了 “Entry Set”队列。对应的 code就像：

synchronized(obj) {

.........

}

 

调用修饰

表示线程在方法调用时,额外的重要的操作。线程Dump分析的重要信息。修饰上方的方法调用。

locked <地址> 目标：使用synchronized申请对象锁成功,监视器的拥有者。

waiting to lock <地址> 目标：使用synchronized申请对象锁未成功,在迚入区等待。

waiting on <地址> 目标：使用synchronized申请对象锁成功后,释放锁幵在等待区等待。

parking to wait for <地址> 目标

locked

at oracle.jdbc.driver.PhysicalConnection.prepareStatement

- locked <0x00002aab63bf7f58> (a oracle.jdbc.driver.T4CConnection)

at oracle.jdbc.driver.PhysicalConnection.prepareStatement

- locked <0x00002aab63bf7f58> (a oracle.jdbc.driver.T4CConnection)

at com.jiuqi.dna.core.internal.db.datasource.PooledConnection.prepareStatement

 

通过synchronized关键字,成功获取到了对象的锁,成为监视器的拥有者,在临界区内操作。对象锁是可以线程重入的。

waiting to lock

at com.jiuqi.dna.core.impl.CacheHolder.isVisibleIn(CacheHolder.java:165)

- waiting to lock <0x0000000097ba9aa8> (a CacheHolder)

at com.jiuqi.dna.core.impl.CacheGroup$Index.findHolder

at com.jiuqi.dna.core.impl.ContextImpl.find

at com.jiuqi.dna.bap.basedata.common.util.BaseDataCenter.findInfo

 

通过synchronized关键字,没有获取到了对象的锁,线程在监视器的进入区等待。在调用栈顶出现,线程状态为Blocked。

waiting on

at java.lang.Object.wait(Native Method)

- waiting on <0x00000000da2defb0> (a WorkingThread)

at com.jiuqi.dna.core.impl.WorkingManager.getWorkToDo

- locked <0x00000000da2defb0> (a WorkingThread)

at com.jiuqi.dna.core.impl.WorkingThread.run

 

通过synchronized关键字,成功获取到了对象的锁后,调用了wait方法,进入对象的等待区等待。在调用栈顶出现,线程状态为WAITING或TIMED_WATING。

parking to wait for

park是基本的线程阻塞原语,不通过监视器在对象上阻塞。随concurrent包会出现的新的机制,不synchronized体系不同。

 

线程动作 

线程状态产生的原因

runnable:状态一般为RUNNABLE。

in Object.wait():等待区等待,状态为WAITING或TIMED_WAITING。

waiting for monitor entry:进入区等待,状态为BLOCKED。

waiting on condition:等待区等待、被park。

sleeping:休眠的线程,调用了Thread.sleep()。

 

进入区等待

"d&a-3588" daemon waiting for monitor entry [0x000000006e5d5000]

java.lang.Thread.State: BLOCKED (on object monitor)

at com.jiuqi.dna.bap.authority.service.UserService$LoginHandler.handle()

- waiting to lock <0x0000000602f38e90> (a java.lang.Object)

at com.jiuqi.dna.bap.authority.service.UserService$LoginHandler.handle()

 

线程状态BLOCKED,线程动作wait on monitor entry,调用修饰waiting to lock总是一起出现。表示在代码级别已经存在冲突的调用。必然有问题的代码,需要尽可能减少其发生。

同步块阻塞

一个线程锁住某对象,大量其他线程在该对象上等待。

"blocker" runnable

java.lang.Thread.State: RUNNABLE

at com.jiuqi.hcl.javadump.Blocker$1.run(Blocker.java:23)

- locked <0x00000000eb8eff68> (a java.lang.Object)

"blockee-11" waiting for monitor entry

java.lang.Thread.State: BLOCKED (on object monitor)

at com.jiuqi.hcl.javadump.Blocker$2.run(Blocker.java:41)

- waiting to lock <0x00000000eb8eff68> (a java.lang.Object)

"blockee-86" waiting for monitor entry

java.lang.Thread.State: BLOCKED (on object monitor)

at com.jiuqi.hcl.javadump.Blocker$2.run(Blocker.java:41)

- waiting to lock <0x00000000eb8eff68> (a java.lang.Object)

 

持续运行的IO

IO操作是可以以RUNNABLE状态达成阻塞。例如:数据库死锁、网络读写。 格外注意对IO线程的真实状态的分析。 一般来说,被捕捉到RUNNABLE的IO调用,都是有问题的。

以下堆栈显示： 线程状态为RUNNABLE。 调用栈在SocketInputStream或SocketImpl上,socketRead0等方法。 调用栈包含了jdbc相关的包。很可能发生了数据库死锁

"d&a-614" daemon prio=6 tid=0x0000000022f1f000 nid=0x37c8 runnable

[0x0000000027cbd000]

java.lang.Thread.State: RUNNABLE

at java.net.SocketInputStream.socketRead0(Native Method)

at java.net.SocketInputStream.read(Unknown Source)

at oracle.net.ns.Packet.receive(Packet.java:240)

at oracle.net.ns.DataPacket.receive(DataPacket.java:92)

at oracle.net.ns.NetInputStream.getNextPacket(NetInputStream.java:172)

at oracle.net.ns.NetInputStream.read(NetInputStream.java:117)

at oracle.jdbc.driver.T4CMAREngine.unmarshalUB1(T4CMAREngine.java:1034)

at oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:588)

 

分线程调度的休眠

正常的线程池等待

"d&a-131" in Object.wait()

java.lang.Thread.State: TIMED_WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

at com.jiuqi.dna.core.impl.WorkingManager.getWorkToDo(WorkingManager.java:322)

- locked <0x0000000313f656f8> (a com.jiuqi.dna.core.impl.WorkingThread)

at com.jiuqi.dna.core.impl.WorkingThread.run(WorkingThread.java:40)

 

可疑的线程等待

"d&a-121" in Object.wait()

java.lang.Thread.State: WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

at java.lang.Object.wait(Object.java:485)

at com.jiuqi.dna.core.impl.AcquirableAccessor.exclusive()

- locked <0x00000003011678d8> (a com.jiuqi.dna.core.impl.CacheGroup)

at com.jiuqi.dna.core.impl.Transaction.lock()

 

总结：

wait on monitor entry： 被阻塞的,肯定有问题 

runnable ： 注意IO线程 

in Object.wait()： 注意非线程池等待

jinfo命令

作用：

jinfo(JVM Configuration info)这个命令作用是实时查看和调整虚拟机运行参数。 之前的jps -v口令只能查看到显示指定的参数，如果想要查看未被显示指定的参数的值就要使用jinfo口令

命令格式：

jinfo [option] [args] LVMID

 

option参数：

-flag : 输出指定args参数的值

-flags : 不需要args参数，输出所有JVM参数的值

-sysprops : 输出系统属性，等同于System.getProperties()

 

示例：

[root@web02 home]# jinfo -flag MaxPermSize 29544

-XX:MaxPermSize=268435456

 

以上命令就是查看PID为29544的MaxPermSize大小

 

1、jps

Jps是参照Unix系统的取名规则命名的，而他的功能和ps的功能类似，可以列举正在运行的饿虚拟机进程并显示虚拟机执行的主类以及这些进程的唯一ID（ＬＶＭＩＤ，对应本机来说和PID相同），他的用法如下：

Jps [option] [hostid]

jps -q 只输出LVMID

jps -m 输出JVM启动时传给主类的方法

jps -l 输出主类的全名，如果是Jar则输出jar的路径

jps -v 输出JVM的启动参数

2、jstat

jstat主要用于监控虚拟机的各种运行状态信息，如类的装载、内存、垃圾回收、JIT编译器等，在没有GUI的服务器上，这款工具是首选的一款监控工具。其用法如下：

jstat [option vmid [interval [s|ms] [vount] ] ]

jstat 监控内容 线程好 刷新时间间隔 次数

jstat –gc 20445 1 20 :监视Java堆，包含eden、2个survivor区、old区和永久带区域的容量、已用空间、GC时间合计等信息

jstat –gcutil 20445 1 20:监视内容与-gc相同，但输出主要关注已使用空间占总空间的百分比

jstat –class 20445 1 20:监视类的装载、卸载数量以及类的装载总空间和耗费时间等

.......-gccapcity......:监视内容与-gc相同，但输出主要关注Java区域用到的最大和最小空间

.......-gccause........:与-gcutil输出信息相同，额外输出导致上次GC产生的原因

.......-gcnew..........:监控新生代的GC情况

.......-gcnewcapacity..:与-gcnew监控信息相同，输出主要关注使用到的最大和最小空间

.......-gcold..........:监控老生代的GC情况

.......-gcoldcapacity..:与-gcold监控信息相同，输出主要关注使用到的最大和最小空间

.......-gcpermcapacity.:输出永久带用到的最大和最小空间

.......-compiler.......:输出JIT编译器编译过的方法、耗时信息

.......-printcompilation:输出已经被JIT编译的方法

3、jinfo

jinfo的作用是实时查看虚拟机的各项参数信息jps –v可以查看虚拟机在启动时被显式指定的参数信息，但是如果你想知道默认的一些参数信息呢？除了去查询对应的资料以外，jinfo就显得很重要了。jinfo的用法如下：

Jinfo [option] pid

4、jmap

map用于生成堆快照（heapdump）。当然我们有很多方法可以取到对应的dump信息，如我们通过JVM启动时加入启动参数 –XX:HeapDumpOnOutOfMemoryError参数，可以让JVM在出现内存溢出错误的时候自动生成dump文件，亦可以通过-XX:HeapDumpOnCtrlBreak参数，在运行时使用ctrl+break按键生成dump文件，当然我们也可以使用kill -3 pid的方式去恐吓JVM生成dump文件。Jmap的作用不仅仅是为了获取dump文件，还可以用于查询finalize执行队列、Java堆和永久带的详细信息，如空间使用率、垃圾回收器等。其运行格式如下：

Jmap [option] vmip

监控堆栈信息主要用来定位问题的原因，生成堆栈快照

.......-dump......:生成对应的dump信息，用法为-dump:[live,]format=b,file={fileName}

.......-finalizerinfo......:显示在F-Queue中等待的Finalizer方法的对象（只在linux下生效）

.......-heap......：显示堆的详细信息、垃圾回收器信息、参数配置、分代详情等

.......-histo......：显示堆栈中的对象的统计信息，包含类、实例数量和合计容量

.......-permstat......：以ClassLoder为统计口径显示永久带的内存状态

.......-F......：虚拟机对-dump无响应时可使用这个选项强制生成dump快照

例子：jmap -dump:format=b,file=yhj.dump 20445

5、jstack

Jstack用于JVM当前时刻的线程快照，又称threaddump文件，它是JVM当前每一条线程正在执行的堆栈信息的集合。生成线程快照的主要目的是为了定位线程出现长时间停顿的原因，如线程死锁、死循环、请求外部时长过长导致线程停顿的原因。通过jstack我们就可以知道哪些进程在后台做些什么？在等待什么资源等！其运行格式如下：

Jstack [option] vmid

-F 当正常输出的请求不响应时强制输出线程堆栈

-l 除堆栈信息外，显示关于锁的附加信息

-m 显示native方法的堆栈信息

6、jconsole

在JDK的bin目录下,监控内存,thread,堆栈等

7、jprofile

类似于jconsole,比jconsole监控信息更全面，内存，线程，包,cup 类，堆栈，等等