1. 问题描述:
Flink上报metrics到pushGateway,pushGwateway因打开在多文件而拒绝Flink TaskManager上报数据的连接。查看pushGateway的日志如下:
2022/09/27 03:09:33 http: Accept error: accept tcp 0.0.0.0:9091: accept4: too many open files; retrying in 160ms
2022/09/27 03:09:33 http: Accept error: accept tcp 0.0.0.0:9091: accept4: too many open files; retrying in 320ms
2022/09/27 03:09:33 http: Accept error: accept tcp 0.0.0.0:9091: accept4: too many open files; retrying in 640ms
2. 问题定位过程
2.1首先查看系统的设置的最大文件句柄数:
ulimit -a
或者 cat /etc/security/limits.conf
接着查看应用可打开的最大文件数:
可见,应用可以打开的文件句柄已经相当大了。问题应该不在于此。
2.2 lsof查看应用打开的文件句柄:
lsof -p pid |wc -l
看到应用打开的文件数在持续增加,没有减少。
2.3 查看对应的进程的fd/目录下的文件情况 ,
ls /proc/pid/fd/ |wc -l
ll|head -20
找一个 inode, 在linux的TCP连接信息文件中查看有没有对应记录,socket:[xxxxxx]表示文件inode号, 100011, 100010等表示文件句柄。
cat /proc/net/tcp |grep 94859722
发现是空的。可以猜测是否pushGateway对应的TCP连接已经释放,但对应的文件句柄未清理。
只能做这种推测,
验证:可以 ss 查看具体的连接,在/proc/net/tcp中查看对应的inode, 等连接释放后,再去/proc/pid/fd/下面看对应的文件句柄是否被回收。
例如: ss - plta |grep pid
ll /proc/pid/fd/ |grep fd
以fd为141154为例:
过段时间再用ss -plta 查看,以及查看对应的tcp连接和fd下面的文件句柄
tcp信息已经不存在了,但文件句柄还残存着。
/proc/pid/fd文件下存放的是什么:
Linux内核提供了一种通过proc文件系统,在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。
attr
autogroup
auxv :包含传递给进程的ELF解释器信息,格式是每一项都是一个unsigned long长度的ID加上一个unsigned long长度的值。
cgroup:文件,进程所属的控制组,格式为冒号分隔的三个字段,分别是结构ID、子系统、控制组、需要配置CONFIG_CGROUPS。
clear_refs:只写,只用于进程的拥有者,清除用于估算内存使用量的PG_Reference和ACCESSED/YOUNG,有1、2、3、4四种策略,1表示清除相关的所有页,2表示清除相关的匿名页,3表示清除相关的映射文件的页,4表示清除相关的soft-dirty的页,需配置CONFIG_PROC_PAGE_MONITOR.
cmdline:是一个只读文件,包含进程的完整命令行信息。如果该进程已经被交换出内存或者这个进程是zombie进程,则这个文件没有任何内容。该文件以空字符null而不是换行符作为结束标志。
comm:包含进程的命令名。
coredump_filter:coredump过滤器,不同的二进制位表示过滤不同的信息。
cpuset:控制CPU和内存的节点。
cwd:是进程当前工作目录的符号链接。
environ:显示进程的环境变量。
exe:为实际运行程序的符号链接。
fd:是一个目录,包含进程打开文件的情况。
fdinfo:包含当前的fd的信息,不同类型的fd信息不同。
gid_map:从用户命名空间映射的组ID的信息。
io:IO信息。
limits:资源软、硬限制。
loginuid
map_files:包括一些内存映射文件,文件格式为BeginAddress-EndAddress,符号链接到映射的文件,需要配置CONFIG_CHECKPOINT_RESTORE。
maps:显示进程的内存区域映射信息。其中[stack:]是线程的堆栈信息,对应于/proc/[pid]/task/[tid]/路径
mem:包含了进程在内存中的内容
mountinfo:挂载信息。格式为36 35 98:0 /mnt1 /mnt2 rw,noatime master:1 - ext3 /dev/root rw,errors=continue,以空格作为分隔符,从左到右各字段的意思分别是唯一挂载ID、父挂载ID、文件系统的设备主从号码、文件系统中挂载的根节点、相对于进程根节点的挂载点、挂载权限等挂载配置、可选配置、短横线表示前面可选配置的结束、文件系统类型、文件系统特有的挂载源或者为none、额外配置。
mounts:挂载在当前进程的文件系统列表。
mountstats:挂载信息。
net:从进程角度统计的数据。
/proc/net:有关网络和套接字的状态信息
/proc/sys/net:网络和套接字的设置
ns:保存了每个名字空间的入口。
numa_maps:numa即Non Uniform Memory Access
oom_adj:调整OOM分数,OOM即Out Of Memory,发生OOM时OOM Killer根据OOM分数杀掉分数高的进程,默认值为0,会继承自父进程的设置。
oom_score:OOM分数。
oom_score_adj:,OOM分值介于-1000到1000之间。
pagemap:当前进程的虚拟内存页映射信息,需要配置CONFIG_PROC_PAGE_MONITOR
patch_state
personality
projid_map
root:是进程根目录的符号链接。
sched
schedstat
sessionid
setgroups
smaps:内存映射信息,类似于pmap命令,需要配置CONFIG_PROC_PAGE_MONITOR,下面“proc-pid-smaps”详细介绍
stack:当前进程的内核调用栈信息,只有内核编译时打开了CONFIG_STACKTRACE编译选项,才会生成这个文件。
stat:进程状态。
statm:显示进程所占用内存大小的统计信息。
status:包含进程的状态信息。其很多内容与stat,statm相同,但是却是以一种更清晰地方式展现出来。
syscall:显示当前进程正在执行的系统调用。
task:针对进程指令的每个线程,内核提供了以/proc/PID/task/TID命名的子目录,其中TID是该线程的线程ID。每个/proc/PID/task/TID子目录中都有一套类似于/proc/PID目录内容的文件和目录。因为线程共享了多个属性,所以这些文件中的许多信息对进程中各个线程而言都是相同的。
timers:POSIT定时器列表,包括定时器ID,信号等信息。
uid_map:用户ID映射信息。
wchan:显示当进程sleep时,kernel当前运行的函数
lantency :显示哪些代码造成的延时比较大。如果要使用这个特性需要执行 echo 1> /proc/sys/kernel/lantencytop
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)