根据linux内核源码查找recv返回EBADF(errno 9)的原因
linux的内核版本是2.6.18,x86_64.
man里的解释是:
EBADF |
The argument s is an invalid descriptor |
我的模拟测试环境是:
前端loadrunner模拟web点击,通过后端的weblogic压自己的服务的时候发现,有时候recv会收到这个错误,意思就是这个fd已经失效了,但是有点不是很明白,所以查询下内核实现,验证下。
首先recv的实现就是调用的recvfrom:
/* * Receive a datagram from a socket. */ asmlinkage long sys_recv(int fd, void __user * ubuf, size_t size, unsigned flags) { return sys_recvfrom(fd, ubuf, size, flags, NULL, NULL); }
然后看
sys_recvfrom
的实现:
asmlinkage long sys_recvfrom(int fd, void __user * ubuf, size_t size, unsigned flags, struct sockaddr __user *addr, int __user *addr_len) { struct socket *sock; struct iovec iov; struct msghdr msg; char address[MAX_SOCK_ADDR]; int err,err2; struct file *sock_file; int fput_needed; sock_file = fget_light(fd, &fput_needed); if (!sock_file) return -EBADF; sock = sock_from_file(sock_file, &err); if (!sock) goto out; msg.msg_control=NULL; msg.msg_controllen=0; msg.msg_iovlen=1; msg.msg_iov=&iov; iov.iov_len=size; iov.iov_base=ubuf; msg.msg_name=address; msg.msg_namelen=MAX_SOCK_ADDR; if (sock->file->f_flags & O_NONBLOCK) flags |= MSG_DONTWAIT; err=sock_recvmsg(sock, &msg, size, flags); if(err >= 0 && addr != NULL) { err2=move_addr_to_user(address, msg.msg_namelen, addr, addr_len); if(err2<0) err=err2; } out: fput_light(sock_file, fput_needed); return err; }
从代码内可以看到是fget_light这个函数如果返回NULL,则对外报EBADF错误。
那么fget_light这个函数做了什么呢,继续看代码:
/* * Lightweight file lookup - no refcnt increment if fd table isn't shared. * You can use this only if it is guranteed that the current task already * holds a refcnt to that file. That check has to be done at fget() only * and a flag is returned to be passed to the corresponding fput_light(). * There must not be a cloning between an fget_light/fput_light pair. */ struct file fastcall *fget_light(unsigned int fd, int *fput_needed) { struct file *file; struct files_struct *files = current->files; *fput_needed = 0; /* 如果你的程序是多线程的,或者多进程并且进程间是通过clone产生并且带着CLONE_FILES标识, 那么此处&files->count值不为1 */ if (likely((atomic_read(&files->count) == 1))) { file = fcheck_files(files, fd); } else { rcu_read_lock(); file = fcheck_files(files, fd); if (file) { /* 因为要引用和此fd相关的struct file结构,所以需要将引用计数器加1, 但是只有在f_count不为0的时候才去加1,如果f_count为0,说明此fd已经 被close掉,并且释放掉资源了。*/ if (atomic_inc_not_zero(&file->f_count)) *fput_needed = 1; else /* Didn't get the reference, someone's freed */ file = NULL; } rcu_read_unlock(); } return file; }
再看函数fcheck_files
static inline struct file * fcheck_files(struct files_struct *files, unsigned int fd) { struct file * file = NULL; struct fdtable *fdt = files_fdtable(files); if (fd < fdt->max_fds) file = rcu_dereference(fdt->fd[fd]); return file; }
其实到这里就可以看出来,fget_light总共有两个地方返回NULL,
1、fcheck_files内发现fd > fdt->max_fds 会返回NULL,这种情况一般不会发生,除非你调用recv的时候传入的fd值不是真实使用的fd,而是一个很大的值。
2、当我们要增加引用计数的时候,发现这个引用计数是0,也就是说被你自己进程的其他线程close了。
max_fds可以简单通过/proc/pid/status的FDSize查看值,这个max_fds其实是计算出来的,下面给出算法
/* NR_OPEN_DEFAULT就是long的bit数,x86是32,x64是64 */
nfds = NR_OPEN_DEFAULT;
/*
* Expand to the max in easy steps, and keep expanding it until
* we have enough for the requested fd array size.
*/
do {
#if NR_OPEN_DEFAULT < 256
if (nfds < 256)
nfds = 256;
else
#endif
if (nfds < (PAGE_SIZE / sizeof(struct file *)))
nfds = PAGE_SIZE / sizeof(struct file *);
else {
nfds = nfds * 2;
if (nfds > NR_OPEN)
nfds = NR_OPEN;
}
} while (nfds <= nr);
初始值是NR_OPEN_DEFAULT就是long的bit数,x64是64,x86是32,
如果超过这个就变成256,如果超过256就4096/8就是512,超过512就是
512*2=1024,再超过就是1024*2=2048,一直这样成倍增加,直到最大值NR_OPEN,是1024*1024=1048576
可能会有人问,不是还有ulimit设置的open files的限制的吗?
恩,是有,这个叫做进程的资源限制,不过这个检查是在分配新的fd,比如accept这时候去检查的,如果新的fd大于那个限制是会直接报错EMFILE这个错误的。