redis 流量增加过多问题排查解决

背景

Java项目，使用Redis集群。

现象

Redis集群，单台流量增加过多。
在redis服务器上：iftop -npP

排查过程

发现流量上涨是同一台机器IP尾号3。到这台机器上查看。
top 命令查看进程id

top -H -p 1748 查看具体线程信息，可以看到，有三个线程执行100多小时，而且占用较多cpu资源，线程没有办法查看对应占用端口，所以怀疑二者有关联。

然后查看线程堆栈信息，确定出现问题的代码位置。
jstack 1748 > jstack.log，查看线程堆栈信息。将图中标出的进程号换算成16进制，找到对应的线程堆栈信息。三个都在执行同一个redis操作。

找到对应代码，发现当Zset中为空时，会导致死循环的代码段，一直在进行redis查询操作。

为了确认，在对应服务器上抓包
tcpdump -i eth0 -t -s 0 -c 100 port 39868 -w package.cap

在Wireshark打开，可以看到，程序一直在发送ZRANGE 请求，请求参数都一样，redis返回为空。

结论与修正

根据排查现象和代码，可以得出结论：是因为代码考虑不全面，Sorted Set 中没有数据，导致一直循环请求，陷入死循环，一直执行redis请求，导致流量上涨。找负责同事进行修复后问题解决。