系统日志在服务器日常问题的使用

现场反馈我们的一个模块总是运行一段时间就突然不提供服务了。让现场同事采集了堆栈发我们，发现这个模块卡在了open64()，打开文件的这个接口处，模块写日志卡住导致业务无法继续往下进行了，我们查看了进程打开文件句柄数。和系统允许打开最大文件句柄数等等发现都是正常的。

最后没有办法去看了系统日志/var/log/message，搜索模块的名字，发现了

通过这个inode，去查看我们日志文件的inode对比是相同的

我们把系统日志的关键词复制，百度搜索。发现这是趋势科技的一款文件安全管控的产品。询问了客户，他们的服务器确实装了 趋势（亚信）防病毒软件。让客户联系趋势科技的开发人员。把我们的相关目录和文件添加到白名单中，解决文件被hook住的问题。

可能是我们的模块写日志频率高被监控到了。这里还有个有趣的小现象。虽然卡住了但是我先后多次远程对这个模块使用gdb调试。每次调试完模块会继续运行，不再卡在写日志的地方，可能是gdb打断了或者唤醒了