df -h和du -sh显示结果不一样的原因及解决

一、背景:
一台2T硬盘的mysql服务器,保存电话的CDR信息。按照历史数据的水平,一个月能生成20+GB的文件。
然而短短的半年时间,满了?!

登录服务器看谁占了这么大的空间?
好吧,slow-query.log华丽丽的占用了1.2T!(运维经验严重不足,线上的一定要关闭这个日志,可以执行命令set global slow_query_log=0;)

二、BUG出现?
1. 很自然的手动删除这个log文件。
2. 执行删除完毕后,du -sh看当前目录的空间占用。显示从1.8T降到了500GB,很满意。
3. 又重新执行了一下df -h,什么?还是100%的占用?!

三、原因:
a、df命令没有想象中的bug,df认为有大文件在/opt分区;
b、问题原因是某些进程异常,其输出了一个大文件在/opt分区,但是由于某种原因,工具挂死了,文件删除了,工具却没有退出,会有一个进程一直在/opt读取某个大文件;

四、定位:
lsof -n|grep deleted

找到保持这个大文件的进程了。

五、解决:
kill -9 7190

六、验证:
再执行df -h

问题解决。

posted @ 2018-04-24 19:27  一沙世界  阅读(1550)  评论(0编辑  收藏  举报