磁盘IO 导致线程阻塞

项目有一段时间，不常用的应用响应变慢，每次持续几秒钟到几十秒钟就自动恢复。如果响应变慢是持续的还好办，直接用 jstack 抓线程堆栈，基本可以很快定位问题。关键持续时间只有最多几十秒钟，而且是偶发的，一天只发生一两次，有时几天才发生一次，发生时间点也不确定，人盯着然后用 jstack手工抓线程堆栈显然不现实。

好吧，既然手工的办法不现实，咱们就来自动的，写一个 shell脚本自动定时执行 jstack，5秒执行一次 jstack，每次执行结果放到不同日志文件中，只保存10000个日志文件。Shell脚本如下：

#!/bin/bash
num=0
log="/tmp/jstack_thread_log/thread_info"

cd /tmp
if [ ! -d "jstack_thread_log" ]; then
   mkdir jstack_thread_log
fi

while ((num <= 10000));

  do

    ID=`ps -ef | grep java | grep gaea | grep -v "grep" | awk '{print $2}'`

    if [ -n "$ID" ]; then
  jstack $ID >> ${log}  
    fi

    num=$(( $num + 1 ))
    mod=$(( $num%100 ))

    if [ $mod -eq 0 ]; then
  back=$log$num
  mv $log $back
    fi
    
    sleep 5

done

下一次响应变慢的时候，我们找到对应时间点的 jstack日志文件，发现里面有很多线程阻塞在 logback输出日志的过程，后来我们精简了log，并且把 log输出改成异步，问题解决了，这个脚本果真好用！建议大家保留，以后遇到类似问题时，可以拿来用！