根据linux内核源码查找recv返回EBADF(errno 9)的原因

时间:2023-03-08 21:39:21

linux的内核版本是2.6.18,x86_64.

man里的解释是:

EBADF

The argument s is an invalid descriptor

我的模拟测试环境是:

前端loadrunner模拟web点击,通过后端的weblogic压自己的服务的时候发现,有时候recv会收到这个错误,意思就是这个fd已经失效了,但是有点不是很明白,所以查询下内核实现,验证下。

首先recv的实现就是调用的recvfrom:

/*
* Receive a datagram from a socket.
*/ asmlinkage long sys_recv(int fd, void __user * ubuf, size_t size, unsigned flags)
{
return sys_recvfrom(fd, ubuf, size, flags, NULL, NULL);
}

然后看
sys_recvfrom
的实现:

asmlinkage long sys_recvfrom(int fd, void __user * ubuf, size_t size, unsigned flags,
struct sockaddr __user *addr, int __user *addr_len)
{
struct socket *sock;
struct iovec iov;
struct msghdr msg;
char address[MAX_SOCK_ADDR];
int err,err2;
struct file *sock_file;
int fput_needed; sock_file = fget_light(fd, &fput_needed);
if (!sock_file)
return -EBADF; sock = sock_from_file(sock_file, &err);
if (!sock)
goto out; msg.msg_control=NULL;
msg.msg_controllen=0;
msg.msg_iovlen=1;
msg.msg_iov=&iov;
iov.iov_len=size;
iov.iov_base=ubuf;
msg.msg_name=address;
msg.msg_namelen=MAX_SOCK_ADDR;
if (sock->file->f_flags & O_NONBLOCK)
flags |= MSG_DONTWAIT;
err=sock_recvmsg(sock, &msg, size, flags); if(err >= 0 && addr != NULL)
{
err2=move_addr_to_user(address, msg.msg_namelen, addr, addr_len);
if(err2<0)
err=err2;
}
out:
fput_light(sock_file, fput_needed);
return err;
}

从代码内可以看到是fget_light这个函数如果返回NULL,则对外报EBADF错误。

那么fget_light这个函数做了什么呢,继续看代码:

/*
* Lightweight file lookup - no refcnt increment if fd table isn't shared.
* You can use this only if it is guranteed that the current task already
* holds a refcnt to that file. That check has to be done at fget() only
* and a flag is returned to be passed to the corresponding fput_light().
* There must not be a cloning between an fget_light/fput_light pair.
*/
struct file fastcall *fget_light(unsigned int fd, int *fput_needed)
{
struct file *file;
struct files_struct *files = current->files; *fput_needed = 0;
/* 如果你的程序是多线程的,或者多进程并且进程间是通过clone产生并且带着CLONE_FILES标识,
那么此处&files->count值不为1 */
  if (likely((atomic_read(&files->count) == 1))) {
file = fcheck_files(files, fd);
} else {
rcu_read_lock();
file = fcheck_files(files, fd);
if (file) {
/* 因为要引用和此fd相关的struct file结构,所以需要将引用计数器加1,
但是只有在f_count不为0的时候才去加1,如果f_count为0,说明此fd已经
  被close掉,并且释放掉资源了。*/
if (atomic_inc_not_zero(&file->f_count))
*fput_needed = 1;
else
/* Didn't get the reference, someone's freed */
file = NULL;
}
rcu_read_unlock();
} return file;
}

再看函数fcheck_files

static inline struct file * fcheck_files(struct files_struct *files, unsigned int fd)
{
struct file * file = NULL;
struct fdtable *fdt = files_fdtable(files); if (fd < fdt->max_fds)
file = rcu_dereference(fdt->fd[fd]);
return file;
}

其实到这里就可以看出来,fget_light总共有两个地方返回NULL,

1、fcheck_files内发现fd > fdt->max_fds 会返回NULL,这种情况一般不会发生,除非你调用recv的时候传入的fd值不是真实使用的fd,而是一个很大的值。

2、当我们要增加引用计数的时候,发现这个引用计数是0,也就是说被你自己进程的其他线程close了。

max_fds可以简单通过/proc/pid/status的FDSize查看值,这个max_fds其实是计算出来的,下面给出算法

	/* NR_OPEN_DEFAULT就是long的bit数,x86是32,x64是64 */
nfds = NR_OPEN_DEFAULT;
/*
* Expand to the max in easy steps, and keep expanding it until
* we have enough for the requested fd array size.
*/
do {
#if NR_OPEN_DEFAULT < 256
if (nfds < 256)
nfds = 256;
else
#endif
if (nfds < (PAGE_SIZE / sizeof(struct file *)))
nfds = PAGE_SIZE / sizeof(struct file *);
else {
nfds = nfds * 2;
if (nfds > NR_OPEN)
nfds = NR_OPEN;
}
} while (nfds <= nr);

初始值是NR_OPEN_DEFAULT就是long的bit数,x64是64,x86是32,

如果超过这个就变成256,如果超过256就4096/8就是512,超过512就是

512*2=1024,再超过就是1024*2=2048,一直这样成倍增加,直到最大值NR_OPEN,是1024*1024=1048576

可能会有人问,不是还有ulimit设置的open files的限制的吗?

恩,是有,这个叫做进程的资源限制,不过这个检查是在分配新的fd,比如accept这时候去检查的,如果新的fd大于那个限制是会直接报错EMFILE这个错误的。