lsof详解
一、概述
在linux中，所有东西都是以文件的形式存在的，所以我们在linux上的操作都是通过对文件的操作来执行我们所需要的逻辑，比如我们对文件数据的访问，修改，访问网络的连接等，刚好lsof（list open file）命令用于查看进程打开的文件，打开文件的进程，进程打开的端口(TCP、UDP)。找回/恢复删除的文件。是十分方便的系统监视工具，因为lsof命令需要访问核心内存和各种文件，所以需要root用户执行。
安装命令：yum install lsof #centos系统
二、语法和内容含义
2.1、使用语法
语法：lsof ［options］ filename
常用选项：
无选项 #默认列出所有打开的文件相关信息
file #列出打开文件存在的进程
-a #使用AND逻辑，合并选项输出内容
-c<进程名> #列出指定进程所打开的文件
-g #列出GID号进程详情
-d<文件号> #列出占用该文件描述符的进程
+d<目录> #列出目录下被打开的文件
+D<目录> #递归列出目录下被打开的文件
-n<目录> #列出使用NFS的文件
-i<条件> #列出符合条件的进程。（4、6、协议、:端口、 @ip ）
-p<进程号> #列出指定进程号所打开的文件
-u #列出UID号进程详情
-U #获取 UNIX 套接口地址
-t #列出进程
-h #显示帮助信息
-v #显示版本信息
2.2、内容含义
首先我们使用lsof | head 命令查看一下
[root@lgh ~]# lsof | head
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
init 1 root cwd DIR 253,0 4096 2 /
init 1 root rtd DIR 253,0 4096 2 /
init 1 root txt REG 253,0 150352 8519721 /sbin/init
init 1 root mem REG 253,0 66432 1310749 /lib64/libnss_files-2.12.so
init 1 root DEL REG 253,0 1310733 /lib64/libc-2.12.so
init 1 root DEL REG 253,0 1310744 /lib64/libgcc_s-4.4.7-20120601.so.1.#prelink#.AXbpAw
init 1 root DEL REG 253,0 1310761 /lib64/librt-2.12.so
init 1 root DEL REG 253,0 1310757 /lib64/libpthread-2.12.so.#prelink#.6p24pv
init 1 root DEL REG 253,0 1310783 /lib64/libdbus-1.so.3.4.0.#prelink#.M6wKKU
lsof -R +d /dev | head 命令查看一波（主要看FD这列），并且相比上面增加了PPID列
[root@mwpl003 ~]# lsof -R +d /dev | head
COMMAND PID PPID USER FD TYPE DEVICE SIZE/OFF NODE NAME
init 1 0 root 0u CHR 1,3 0t0 4025 /dev/null
init 1 0 root 1u CHR 1,3 0t0 4025 /dev/null
init 1 0 root 2u CHR 1,3 0t0 4025 /dev/null
udevd 1872 1 root 0u CHR 1,3 0t0 4025 /dev/null
udevd 1872 1 root 1u CHR 1,3 0t0 4025 /dev/null
udevd 1872 1 root 2u CHR 1,3 0t0 4025 /dev/null
rserver 3375 1 rstudio-server 0u CHR 1,3 0t0 4025 /dev/null
rserver 3375 1 rstudio-server 1u CHR 1,3 0t0 4025 /dev/null
rserver 3375 1 rstudio-server 2u CHR 1,3 0t0 4025 /dev/null
每列的基本含义如下：
COMMAND：进程的名称
PID：进程标识符
PPID：父进程标识符（需要指定-R参数）
USER：进程所有者
FD：文件描述符，应用程序通过文件描述符识别该文件。
TYPE：文件类型
DEVICE：指定磁盘的名称
SIZE/OFF：文件的大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称
其中FD文件描述符列表如下：
cwd：表示current work dirctory，即：应用程序的当前工作目录，这是该应用程序启动的目录，除非它本身对这个目录进行更改
txt：该类型的文件是程序代码，如应用程序二进制文件本身或共享库，如上列表中显示的 /sbin/init 程序
lnn：library references (AIX);
er：FD information error (see NAME column);
jld：jail directory (FreeBSD);
ltx：shared library text (code and data);
mxx ：hex memory-mapped type number xx.
m86：DOS Merge mapped file;
mem：memory-mapped file;
mmap：memory-mapped device;
pd：parent directory;
rtd：root directory;
tr：kernel trace file (OpenBSD);
v86 VP/ix mapped file;
0：表示标准输出
1：表示标准输入
2：表示标准错误
一般在标准输出、标准错误、标准输入后还跟着文件状态模式：
u：表示该文件被打开并处于读取/写入模式。
r：表示该文件被打开并处于只读模式。
w：表示该文件被打开并处于。
空格：表示该文件的状态模式为unknow，且没有锁定。
-：表示该文件的状态模式为unknow，且被锁定。
其中TYPE文件类型列表如下：
DIR：表示目录
CHR：表示字符类型
BLK：块设备类型
UNIX：UNIX域套接字
FIFO：先进先出(FIFO)队列
IPv4：网际协议(IP)套接字
三、实践
查看谁正在使用某个文件，也就是说查找某个文件相关的进程
[root@localhost omc]# lsof /var/log/messages
递归查看某个目录的文件信息
[root@localhost omc]# lsof /home/omc/
==> [root@localhost omc]# lsof +D /home/omc/ 【使用了+D，对应目录下的所有子目录和文件都会被列出】
列出某个用户打开的文件信息
[root@localhost omc]# lsof -u root
列出某个程序进程所打开的文件信息
[root@localhost omc]#lsof –c sshd
-c【command】 选项将会列出所有以mysql这个进程开头的程序的文件，其实你也可以写成 lsof | grep sshd, 但是第一种方法明显比第二种方法要少打几个字符了
列出某个IP的连接信息
[root@localhost omc]# lsof -i @192.168.25.133
根据IP分类显示当前环境的连接信息
[root@localhost omc]# lsof -i 4 #列举IPV4
[root@localhost omc]# lsof -i 6 #列举IPV6
列出TCP/UDP的连接信息
[root@localhost omc]# lsof -i tcp
[root@localhost omc]# lsof -i udp
[root@localhost omc]# lsof -i tcp:22
列出除了某个用户外的被打开的文件信息
[root@localhost omc]#lsof -u ^root
列出某个用户的所有活跃的网络端口
[root@localhost omc]#lsof -a -u root -i
通过某个进程号显示该进行打开的文件
[root@localhost omc]# lsof -p 2601
[root@localhost omc]# lsof -p 2601,2602,2603
列出所有网络文件系统
[root@localhost omc]# lsof –N
根据文件描述列出对应的文件信息
lsof -d description(like 2)
例如：lsof -d txt
例如：lsof -d 1
例如：lsof -d 2
说明：0表示标准输入，1表示标准输出，2表示标准错误，从而可知：所以大多数应用程序所打开的文件的 FD 都是从 3 开始
据文件描述范围列出文件信息
[root@localhost omc]# lsof -d 2-3
列出COMMAND列中包含字符串" sshd"，且文件描符的类型为txt的文件信息
[root@localhost omc]# lsof -c sshd -a -d txt
列出被进程号为1234的进程所打开的所有IPV4 network files
[root@localhost omc]# lsof -i 4 -a -p 1234
列出目前连接主机hadoop且端口为：20，21，22，25，53，80相关的所有文件信息，且每隔3秒不断的执行lsof指令
[root@localhost omc]# lsof -i @hadoop:20,21,22,25,53,80 -r 3
四、实践2
1、lsof -a -u root -d 2 | head #列出是root用户，并且DF为2的文件，-a只有两者满足都满足要求才列出
[root@lgh ~]# lsof -a -u root -d 2 | head
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
init 1 root 2u CHR 1,3 0t0 4025 /dev/null
udevd 1872 root 2u CHR 1,3 0t0 4025 /dev/null
auditd 3525 root 2u CHR 1,3 0t0 4025 /dev/null
rsyslogd 3559 root 2w REG 253,0 2092 4457009 /var/log/messages
irqbalanc 3594 root 2u CHR 1,3 0t0 4025 /dev/null
cupsd 3689 root 2w CHR 1,3 0t0 4025 /dev/null
acpid 3721 root 2u CHR 1,3 0t0 4025 /dev/null
hald-runn 3734 root 2u CHR 1,3 0t0 4025 /dev/null
hald-addo 3774 root 2u CHR 1,3 0t0 4025 /dev/null
2、lsof +d /bin/ #显示/bin当前目录下所有打开的文件，如果是想递归的打开则使用选项 +D即可
[root@lgh ~]# lsof +d /bin/
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
dbus-daem 3668 dbus txt REG 253,0 339080 12582956 /bin/dbus-daemon
bash 6012 root txt REG 253,0 942200 12582957 /bin/bash
dbus-daem 9311 gdm txt REG 253,0 339080 12582956 /bin/dbus-daemon
bash 11017 root txt REG 253,0 942200 12582957 /bin/bash
3、lsof -i | head -20 | tail #使用 -i 选项显示网络连接
[root@lgh ~]# lsof -i | head -20 | tail
rpcbind 3612 rpc 8u IPv4 16143 0t0 TCP *:sunrpc (LISTEN)
rpcbind 3612 rpc 9u IPv6 16144 0t0 UDP *:sunrpc
rpcbind 3612 rpc 10u IPv6 16145 0t0 UDP *:819
rpcbind 3612 rpc 11u IPv6 16146 0t0 TCP *:sunrpc (LISTEN)
rpc.statd 3634 rpcuser 5r IPv4 16223 0t0 UDP localhost.localdomain:842
rpc.statd 3634 rpcuser 8u IPv4 16228 0t0 UDP *:53636
rpc.statd 3634 rpcuser 9u IPv4 16231 0t0 TCP *:36415 (LISTEN)
rpc.statd 3634 rpcuser 10u IPv6 16234 0t0 UDP *:52108
rpc.statd 3634 rpcuser 11u IPv6 16237 0t0 TCP *:38611 (LISTEN)
cupsd 3689 root 6u IPv6 16394 0t0 TCP localhost.localdomain:ipp (LISTEN)
4、lsof -i 4 | head #仅获取IPV4的流量 ，如果想获取IPV6的流量的话，把4改成6即可
[root@lgh ~]# lsof -i 4 | head
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
haproxy 1523 root 0u IPv4 871803 0t0 UDP *:50203
haproxy 1523 root 4u IPv4 871797 0t0 TCP *:ff-fms (LISTEN)
haproxy 1523 root 5u IPv4 871798 0t0 TCP *:panagolin-ident (LISTEN)
haproxy 1523 root 6u IPv4 871799 0t0 TCP *:scp-config (LISTEN)
rserver 3375 rstudio-server 6u IPv4 15668 0t0 TCP *:msgsrvr (LISTEN)
rsyslogd 3559 root 4u IPv4 15950 0t0 UDP *:syslog
rpcbind 3612 rpc 6u IPv4 16141 0t0 UDP *:sunrpc
rpcbind 3612 rpc 7u IPv4 16142 0t0 UDP *:819
rpcbind 3612 rpc 8u IPv4 16143 0t0 TCP *:sunrpc (LISTEN)
5、lsof -itcp |head #显示所有tcp连接，如果想显示udp连接就把tcp改成udp即可
[root@lgh~]# lsof -itcp |head
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
haproxy 1523 root 4u IPv4 871797 0t0 TCP *:ff-fms (LISTEN)
haproxy 1523 root 5u IPv4 871798 0t0 TCP *:panagolin-ident (LISTEN)
haproxy 1523 root 6u IPv4 871799 0t0 TCP *:scp-config (LISTEN)
rserver 3375 rstudio-server 6u IPv4 15668 0t0 TCP *:msgsrvr (LISTEN)
rpcbind 3612 rpc 8u IPv4 16143 0t0 TCP *:sunrpc (LISTEN)
rpcbind 3612 rpc 11u IPv6 16146 0t0 TCP *:sunrpc (LISTEN)
rpc.statd 3634 rpcuser 9u IPv4 16231 0t0 TCP *:36415 (LISTEN)
rpc.statd 3634 rpcuser 11u IPv6 16237 0t0 TCP *:38611 (LISTEN)
cupsd 3689 root 6u IPv6 16394 0t0 TCP localhost.localdomain:ipp (LISTEN)
6、lsof -i@192.168.88.133 #使用-i@host显示该主机是否连接了指定主机，使用-i@host:port显示该主机是否通过某个指定端口连接指定主机
[root@lgh ~]# lsof -i@192.168.88.133
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 20380 zookeeper 31u IPv4 207875803 0t0 TCP lgh:macbak->lgh1:60670 (ESTABLISHED)
java 20380 zookeeper 33u IPv4 207875808 0t0 TCP lgh:40232->lgh1:bmcpatrolagent (ESTABLISHED)
java 20380 zookeeper 46u IPv4 207879310 0t0 TCP lgh:eforward->lgh1:40134 (ESTABLISHED)
catalogd 21822 impala 277u IPv4 207882990 0t0 TCP lgh:40964->lgh1:med-ltp (ESTABLISHED)
catalogd 21822 impala 278u IPv6 207882991 0t0 TCP lgh:23020->lgh1:40058 (ESTABLISHED)
catalogd 21822 impala 279u IPv6 207882992 0t0 TCP lgh:23020->lgh1:40060 (ESTABLISHED)
You have mail in /var/spool/mail/root
[root@lgh ~]# lsof -i@192.168.88.133:60670
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 20380 zookeeper 31u IPv4 207875803 0t0 TCP lgh:macbak->lgh1:60670 (ESTABLISHED)
7、lsof -i -stcp:LISTEN |head #找出所有监听的文件，把LISTEN换成ESTABLISHED表示显示所有建立连接的文件
[root@lgh ~]# lsof -i -stcp:LISTEN |head
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
haproxy 1523 root 4u IPv4 871797 0t0 TCP *:ff-fms (LISTEN)
haproxy 1523 root 5u IPv4 871798 0t0 TCP *:panagolin-ident (LISTEN)
haproxy 1523 root 6u IPv4 871799 0t0 TCP *:scp-config (LISTEN)
rserver 3375 rstudio-server 6u IPv4 15668 0t0 TCP *:msgsrvr (LISTEN)
rpcbind 3612 rpc 8u IPv4 16143 0t0 TCP *:sunrpc (LISTEN)
rpcbind 3612 rpc 11u IPv6 16146 0t0 TCP *:sunrpc (LISTEN)
rpc.statd 3634 rpcuser 9u IPv4 16231 0t0 TCP *:36415 (LISTEN)
rpc.statd 3634 rpcuser 11u IPv6 16237 0t0 TCP *:38611 (LISTEN)
cupsd 3689 root 6u IPv6 16394 0t0 TCP localhost.localdomain:ipp (LISTEN)
8、lsof -u root | head #指定root用户打开的所有文件，可以通过 -u ^root取反，表示非root用户打开的文件，kill -9 lsof -u hive -t 表示杀掉hive所有的进程
[root@lgh ~]# lsof -u root | head
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
init 1 root cwd DIR 253,0 4096 2 /
init 1 root rtd DIR 253,0 4096 2 /
init 1 root txt REG 253,0 150352 8519721 /sbin/init
init 1 root mem REG 253,0 66432 1310749 /lib64/libnss_files-2.12.so
init 1 root DEL REG 253,0 1310733 /lib64/libc-2.12.so
init 1 root DEL REG 253,0 1310744 /lib64/libgcc_s-4.4.7-20120601.so.1.#prelink#.AXbpAw
9、 lsof -c haproxy #显示指定haproxy命令的连接文件，使用-p参数则是指定端口
[root@lgh ~]# lsof -c haproxy
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
haproxy 1523 root cwd DIR 253,1 4096 57939112 /data/hive/transfer_baseinfo
haproxy 1523 root rtd DIR 253,0 4096 2 /
haproxy 1523 root txt REG 253,0 3769897 2376812 /usr/local/sbin/haproxy
haproxy 1523 root DEL REG 253,0 1310733 /lib64/libc-2.12.so
haproxy 1523 root DEL REG 253,0 1310836 /lib64/ld-2.12.so
haproxy 1523 root 0u IPv4 871803 0t0 UDP *:50203
haproxy 1523 root 3u unix 0xffff88204e2343c0 0t0 871795 /var/run/haproxy/info.sock.1522.tmp
haproxy 1523 root 4u IPv4 871797 0t0 TCP *:ff-fms (LISTEN)
五、数据恢复
当进程打开了某个文件时，只要该进程保持打开该文件，即使将其删除，它依然存在于磁盘中。这意味着，进程并不知道文件已经被删除，它仍然可以向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程之外，这个文件是不可见的，因为已经删除了其相应的目录索引节点。
在/proc 目录下，其中包含了反映内核和进程树的各种文件。/proc目录挂载的是在内存中所映射的一块区域，所以这些文件和目录并不存在于磁盘中，因此当我们对这些文件进行读取和写入时，实际上是在从内存中获取相关信息。大多数与 lsof 相关的信息都存储于以进程的 PID 命名的目录中，即 /proc/1234 中包含的是 PID 为 1234 的进程的信息。每个进程目录中存在着各种文件，它们可以使得应用程序简单地了解进程的内存空间、文件描述符列表、指向磁盘上的文件的符号链接和其他系统信息。
lsof 程序使用该信息和其他关于内核内部状态的信息来产生其输出。所以lsof 可以显示进程的文件描述符和相关的文件名等信息。也就是我们通过访问进程的文件描述符可以找到该文件的相关信息。当系统中的某个文件被意外地删除了，只要这个时候系统中还有进程正在访问该文件，那么我们就可以通过lsof从/proc目录下恢复该文件的内容
我们使用 /var/log/messages做测试：
首先我们用lsof查看下/var/log/messages这个文件的连接
[root@lgh2 fd]# lsof | grep messages
rsyslogd 6511 root 6w REG 253,0 647273 34816846 /var/log/messages
in:imjour 6511 6543 root 6w REG 253,0 647273 34816846 /var/log/messages
rs:main 6511 6553 root 6w REG 253,0 647273 34816846 /var/log/messages
然后我们使用命令rm -f /var/log/messages删除文件，继续使用lsof命令查看，已经显示删除
[root@lgh2 fd]# lsof | grep messages
rsyslogd 6511 root 6w REG 253,0 647273 34816846 /var/log/messages (deleted)
in:imjour 6511 6543 root 6w REG 253,0 647273 34816846 /var/log/messages (deleted)
rs:main 6511 6553 root 6w REG 253,0 647273 34816846 /var/log/messages (deleted)
然后我们cd /proc/6511/fd #6511表示进程号，然后我们ll查看一下目录
[root@lgh2 fd]# ll
total 0
lr-x------ 1 root root 64 Oct 12 04:22 0 -> /dev/null
l-wx------ 1 root root 64 Oct 12 04:22 1 -> /dev/null
l-wx------ 1 root root 64 Oct 12 04:22 2 -> /dev/null
lr-x------ 1 root root 64 Oct 12 04:22 3 -> anon_inode:inotify
lrwx------ 1 root root 64 Oct 12 04:22 4 -> socket:[36279]
lr-x------ 1 root root 64 Oct 12 04:22 5 -> /run/log/journal/0b933fe64005419d8f16599287df47be/system.journal
l-wx------ 1 root root 64 Oct 12 04:22 6 -> /var/log/messages (deleted) #这里发现6这个文件描述符指向这个文件/var/log/messages
我们cat查看一下6这个文件
[root@lgh2 fd]# cat 6 | head -20 #这个文件就是我们对应的/var/log/messages文件
Sep 22 03:12:45 lgh2 chronyd[6237]: Selected source 120.25.115.20
Sep 22 03:12:45 lgh2 chronyd[6237]: System clock wrong by -43210.956291 seconds, adjustment started
Sep 22 03:15:01 lgh2 systemd: Started Session 881 of user root.
Sep 22 03:15:21 lgh2 systemd: Time has been changed
Sep 22 03:15:27 lgh2 chronyd[6237]: Forward time jump detected!
Sep 22 03:15:27 lgh2 chronyd[6237]: Can't synchronise: no selectable sources
Sep 22 03:17:36 lgh2 chronyd[6237]: Selected source 119.28.183.184
Sep 22 03:17:36 lgh2 chronyd[6237]: System clock wrong by -43211.807006 seconds, adjustment started
Sep 22 03:18:23 lgh2 chronyd[6237]: Selected source 120.25.115.20
Sep 22 03:18:41 lgh2 chronyd[6237]: Selected source 119.28.183.184
Sep 22 03:20:01 lgh2 systemd: Started Session 882 of user root.
Sep 22 03:20:01 lgh2 systemd: Started Session 883 of user root.
Sep 22 03:20:21 lgh2 systemd: Time has been changed
Sep 22 03:20:26 lgh2 chronyd[6237]: Forward time jump detected!
Sep 22 03:20:26 lgh2 chronyd[6237]: Can't synchronise: no selectable sources
Sep 22 03:22:36 lgh2 chronyd[6237]: Selected source 5.79.108.34
Sep 22 03:22:36 lgh2 chronyd[6237]: System clock wrong by -43211.562700 seconds, adjustment started
Sep 22 03:22:55 lgh2 chronyd[6237]: Selected source 120.25.115.20
Sep 22 03:25:01 lgh2 systemd: Started Session 884 of user root.
Sep 22 03:25:22 lgh2 systemd: Time has been changed
然后我们使用命令 cat /proc/6511/fd/6 > /var/log/messages 还原数据，然后我们继续使用lsof命令查看
[root@lgh2 fd]# lsof | grep messages
rsyslogd 6511 root 6w REG 253,0 213 34816872 /var/log/messages
in:imjour 6511 6543 root 6w REG 253,0 213 34816872 /var/log/messages
rs:main 6511 6553 root 6w REG 253,0 213 34816872 /var/log/messages
还原成功了
