磁盘爆满(df 与 du查看结果不一致导致)

记一次df -Th与du -sh空间大小不一致磁盘爆满问题的处理过程

 

记一次df -Th与du -sh空间大小不一致磁盘爆满问题的处理过程

图片

问题场景:

在日常运维中,经常遇到磁盘空间满,发现占用磁盘空间大的文件已经被删除了,但df -Th查看磁盘空间还是满,没有释放出来 

但du -sh 查看时发现空间已经腾出来了

通常这种情况都是文件被删除,但是还被进程占用,造成du与df结果不一致。

du -sh * 和df -Th显示大小不一样,一般而言,df显示的使用空间要大于du

因为:当一个文件被删除的时候,在文件系统的目录中已经不可见了,所以du就不会再统计它了。

然而如果此时还有运行的进程持有这个已经被删除了的文件的句柄,那么这个文件就不会真正在磁盘中被删除,分区超级块中的信息也就不会更改。这样df仍旧会统计这个被删除了的文件。

查看方法:

lsof |grep delete

列出来的这些文件,表示已经删除,但实际上进程还在使用。

处理办法通常是停止占用文件的进程。

但是如果进程不能被停止呢?业务在使用,无法重启进程或服务 另一个处理办法就是通过清空文件释放空间。

处理办法如下:

通过lsof | grep deleted 找到未能删除掉的文件,确定占用的进程号;

#若没有lsof命令
yum install lsof -y
然后通过 ls -l /proc/PID/fd/* | grep 文件名,找到相应文件句柄;
清除文件内容 echo > /proc/PID/fd/FD_NUM

这个操作不会将文件删除,而是通过将文档内容清空的方法释放空间,文件还是存在的。

实践示例

问题现象:磁盘爆满由100%已经清理到91%,前面已有运维人员处理了,但是发现

1、问题现象截图

如下图所示 

图片

(图片可点击放大查看)

df -PTh查看/api目录占用85G 

但是du -sh /api目录只有35G

接手问题,通过百度搜索查证相关的解决方法后,开始进行处理

2、lsof |grep delete查看

lsof |grep delete

图片

(图片点击放大查看)

发现java进程id 28283 这个程序还占用这个catalina.2022-04-28.out文件未释放,文件大小约为50多G

与df -PTh和du -sh 的差值基本一致

3、不重启进程的处理过程

ls -l /proc/PID/fd/* | grep catalina
找到相应文件句柄,并使用echo > 方式清除
echo > /proc/28283/fd/1
echo > /proc/28283/fd/2

图片

(图片可点击放大查看)

这时再df -PTh查看可以看到已经与du -sh大小基本一致,问题解决

yuanfan2012

给小编加鸡腿!😂

收录于合集 #Linux学习笔记
 270
上一篇GrayLog+nxlog采集邮箱登录日志csv文件并实现邮箱异地登录钉钉机器人告警下一篇记一次非常"吊诡"的生产服务器SSH无法访问故障处理过程
阅读 272
posted @ 2022-09-02 09:49  往事已成昨天  阅读(1029)  评论(0编辑  收藏  举报