K8s排障利器：lsof命令的八大实战场景

Kubernetes排障利器：lsof命令的八大实战场景

在Kubernetes生产环境中，lsof作为Linux系统的"透视眼"，是排查容器级疑难杂症的必备工具。本文将深入解析其在容器化场景下的高阶用法，助你快速定位隐藏问题。

---

一、基础环境准备

1. 容器内安装lsof

# 临时进入容器安装（Alpine示例）
kubectl exec -it <pod名> -- apk add lsof

# 构建自定义镜像（Dockerfile）
RUN apt-get update && apt-get install -y lsof  # Debian系
RUN yum install -y lsof                        # RHEL系

2. 权限问题处理

# 以root身份进入容器
kubectl exec -it <pod名> -- sh -c 'apt update && apt install -y lsof'
kubectl exec --user root -it <pod名> -- lsof

---

二、八大核心应用场景

场景1：定位异常端口占用

现象：服务启动报Address already in use
排查步骤：

# 进入目标容器查询8080端口占用
kubectl exec -it <pod名> -- lsof -i :8080

# 输出示例
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    123 root   45u  IPv6 123456      0t0  TCP *:http-alt (LISTEN)

场景2：分析文件描述符泄漏

现象：Too many open files告警
诊断方法：

# 统计进程打开文件数
kubectl exec <pod名> -- lsof -p <PID> | wc -l

# 查看具体文件类型分布
kubectl exec <pod名> -- lsof -p <PID> | awk '{print $5}' | sort | uniq -c

场景3：追踪日志文件写入

问题：日志文件未按预期滚动
排查命令：

# 查看日志文件持有进程
kubectl exec <pod名> -- lsof /var/log/app.log

# 典型输出
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
tail    456 root    3r   REG  253,0   123456 789  /var/log/app.log

场景4：检测异常网络连接

需求：审计对外部服务的调用
操作流程：

# 列出所有ESTABLISHED连接
kubectl exec <pod名> -- lsof -i -s TCP:ESTABLISHED

# 过滤特定IP连接
kubectl exec <pod名> -- lsof -i @10.0.0.5

场景5：定位磁盘空间占用

现象：No space left on device
快速定位：

# 查找被删除但未释放的大文件
kubectl exec <pod名> -- lsof +L1

# 输出解读
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NLINK NODE NAME
java    789 app     5u   REG   0,50  1G       0     123 /tmp/deleted.log

场景6：分析容器启动失败

报错：exec format error
排查方法：

# 查看进程加载的动态库
kubectl exec <pod名> -- lsof -p <PID> | grep .so

# 检查文件架构
file /lib/x86_64-linux-gnu/libc.so.6

场景7：调试文件锁竞争

现象：多线程写入文件混乱
诊断步骤：

# 查看文件锁状态
kubectl exec <pod名> -- lsof -f -- /data/file.lock

# 输出关键字段
COMMAND  PID USER   FD TYPE FLOCK 
python 1234 app     3w  REG  WRLCK

场景8：安全审计

需求：检查敏感文件访问
审查命令：

# 监控/etc/passwd访问
kubectl exec <pod名> -- lsof /etc/passwd

# 实时追踪文件操作
kubectl exec <pod名> -- lsof +r 3 /etc/secrets

---

三、生产环境高级技巧

1. 批量检查工具

# 遍历命名空间检查所有Pod
for pod in $(kubectl get pods -n prod -o name); do
  echo "=== $pod ==="
  kubectl exec -n prod $pod -- sh -c "lsof -i :8080 || echo 'Not found'"
done

2. 可视化分析

# 生成文件描述符统计图（需安装gnuplot）
kubectl exec <pod名> -- lsof -p <PID> | awk '{print $5}' | sort | uniq -c > fd.txt
gnuplot -p -e 'plot "fd.txt" using 1:xtic(2) with boxes'

3. 与K8s元数据关联

# 通过PID反查容器信息
docker inspect --format '{{.Name}}' $(docker ps -q) | grep $(ps -p <PID> -o ppid=)

---

四、避坑指南

1. 慎用容器内安装：优先使用调试镜像（如nicolaka/netshoot）
2. 注意性能影响：避免在高负载容器执行耗时查询
3. 权限最小化原则：使用非root账号执行只读操作
4. 结果时效性：容器内进程瞬时状态可能快速变化

---

通过掌握这些技巧，运维人员可将平均故障定位时间缩短50%以上。建议将常用检查命令封装成脚本，并建立异常模式库，实现快速模式匹配。记住：lsof不是万能的，但结合K8s生态工具使用，必能成为你排障武器库中的利刃。