中原银行的 Arthas 技术实践分享

转载自：https://blog.csdn.net/zybank_IT/article/details/108585520

中原银行的 Arthas 技术实践分享

Arthas 是一款 Java 开源诊断工具，由于其强大的问题排查及诊断能力，自其开源以来广受开发者的关注和使用，多次登顶 GitHub Trending，并得到国内多家技术媒体的分享。

Arthas 可以通过简单的命令交互模式，接入运行的JVM，快速定位和诊断线上程序运行问题。在不重启服务的情况下，实时、动态的修改相关code，并实时生效。具体工作原理如下：

连接JVM：通过 attach 机制，使用 pid 连接正在运行的JVM；
查看及修改JVM字节码：通过 instrument 技术对运行中的 JVM 附加或修改字节码来实现增强的逻辑。

中原银行技术团队于 2019 年初开始推广和使用 Arthas 定位和诊断线上问题。由于对系统平稳运行的严格要求及对客户敏感信息的保护，我们对arthas的部分功能进行了定制化改造，对watch、mc、redeﬁne等命令进行了隐藏。

以下为我行在 arthas 技术实践中的一些案例分享（由于行内代码保密性要求，下文所示案例均为场景复现所写示例代码）

案例一：健康码CPU高案例分析

问题描述：业务人员反馈后台管理系统其中一个页面响应时间很长，登录服务器上发现CPU使用率较高，达到80%左右。

1. thread命令查看CPU使用率高的线程

启动arthas，附加到对应的java进程，执行thread -n 5 查看CPU使用率最高的5个线程的堆栈。

在这里插入图片描述

2. 通过monitor命令查看方法的调用次数与耗时

通过thread命令已经定位到CPU主要消耗在TreeUtil的ﬁndMenuChildren方法上，通过monitor命令查看方法的具体调用次数与耗时
在这里插入图片描述
通过monitor命令可以明确该方法单次调用平均耗时为17 ~ 20ms，但是调用次数多，所以整体上页面响应慢。

3. 通过jad命令反编译TreeUtil类，查看源码

在这里插入图片描述
通过jad命令查看源码可以发现，此处的业务逻辑大致是通过ResourceTreeVo 对象的resourceParentId 字段把一个列表构建一个树。在findMenuChildren 方法中存在递归调用，而且每一次调用都需要遍历整个ResourceTreeVo 列表来查找子节点，时间复杂度为O(n2)。所以在ResourceTreeVo 列表元素比较多的时候，会很耗时。

4. 解决问题

定位到问题就方便解决了，可以通过提前基于list构建一个parentId->List的map，每个节点查找子节点列表的时候可以从map中获取。这样整个构建树的时间算法为O(n)。

案例二：应用线程连接数异常

问题描述：服务器句柄数耗尽，查看发现某个应用占用句柄数较多。

在这里插入图片描述
1. thread命令查看线程信息

启动arthas，附加到对应的java进程，执行thread查看线程情况。
在这里插入图片描述

在这里插入图片描述

看到有大量的MasterListener-mymaster-* 线程处于连接状态，一直没有释放

发现这些线程是由redis.clients.JedisSentinelPool$ MasterListener 产生的，那么接下来就来查看一下JedisSentinelPool$MasterListener 的调用情况。