一、什么是I/O多路复用
I/O多路复用，I/O就是指的我们网络I/O,多路指多个TCP连接(或多个Channel)，复用指复用一个或少量线程。串起来理解就是很多个网络I/O复用一个或少量的线程来处理这些连接。I/O 多路复用使得程序能同时监听多个文件描述符，能够提高程序的性能，Linux 下实现 I/O 多路复用的系统调用主要有 select、poll 和 epoll。
下面是几种有趣的快递比喻，来自于牛客网
1.1 阻塞等待模型
解决办法：多线程或者多进程。
1.2 BIO模型
根本问题还是阻塞
1.3 非阻塞，忙轮询
1.4 NIO模型
客户端连接越多，越占用系统资源。
1.5 select/poll
1.6 epoll
二、 Select
主旨思想：
1. 首先要构造一个关于文件描述符的列表，将要监听的文件描述符添加到该列表中。
2. 调用一个系统函数，监听该列表中的文件描述符，直到这些描述符中的一个或者多个进行I/O操作时，该函数才返回。
a.这个函数是阻塞
b.函数对文件描述符的检测的操作是由内核完成的
3. 在返回时，它会告诉进程有多少（哪些）描述符要进行I/O操作。
sizeof(fd_set) = 128 1024位 select及其函数 #include <sys/time.h> #include <sys/types.h> #include <unistd.h> #include <sys/select.h> int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); -参数： -nfds：委托内核检测的最大文件描述符的值+1 -readfds：要检测的读的文件描述符集合，委托内核检测哪些文件描述符的读属性 -一般检测读操作 -对应对方发来的数据 -读是被动地接收数据 -是一个传入传出参数，传入的是需要交给内核检测的，传出的是内核检测完毕的结果 -writefds：要检测的写的文件描述符集合，委托内核检测哪些文件描述符的写属性 -检测写缓冲区是否还可以写数据，若未满则可写，满返回1 -exceptfds：检测发生异常的文件描述符的集合 -timeout：设置超时的时间，结构体 struct timeval { long tv_sec; 秒 long tv_usec; 微秒 }; -NULL:永久阻塞，直到文件描述符发生变化 -都为0则不阻塞 -tv_sec>0&&tv_usec>0则阻塞对应时间 -返回值： 失败：-1 成功：>0（n）检测集合中有n个文件描述符发生了变化 void FD_CLR(int fd, fd_set * set); 将参数fd文件描述符标志位置为0 int FD_ISSET(int fd, fd_set* set); 判断参数fd对应的标志位是0还是1，是1返回1，是0返回0 void FD_SET(int fd.fd_set* set); 设置参数fd对应标志位 void FD_ZERO(fd_set *set); 将fd_set全部初始化为0
工作过程：
加1为了能够对最后一位进行遍历（因为是从0开始而不是从1）
select服务端代码：（这个实验代码请一定注意读写数组的初始化）
/*sizeof(fd_set) = 128 1024位 select及其函数 #include <sys/time.h> #include <sys/types.h> #include <unistd.h> #include <sys/select.h> int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); */ #include<stdio.h> #include<arpa/inet.h> #include<unistd.h> #include<stdlib.h> #include<string.h> #include<signal.h> #include<wait.h> #include<errno.h> #include <sys/time.h> #include <sys/types.h> #include <sys/select.h> int main(){ //1.创建一个socket int lfd = socket(PF_INET, SOCK_STREAM, 0); if(lfd == -1){ perror("socket"); exit(-1); } struct sockaddr_in saddr; saddr.sin_addr.s_addr = INADDR_ANY; saddr.sin_family = AF_INET; saddr.sin_port = htons(9999); //2.绑定 bind(lfd, (struct sockaddr*)&saddr, sizeof(saddr)); //3.监听 listen(lfd, 8); //创建一个fd_set集合，存放的是需要检测的文件描述符,表示1024个文件描述符 fd_set rdset,tmp; //初始化标志位 FD_ZERO(&rdset); //添加需要检测的文件描述符 FD_SET(lfd, &rdset); int maxfd = lfd; while(1){ tmp = rdset; //调用select系统函数，让内核帮忙检测哪些文件描述符有数据 int ret = select(maxfd+1,&tmp,NULL,NULL,NULL); if(ret==-1){ perror("select"); exit(-1); }else if(ret==0){ continue; }else if(ret>0){ //说明检测到有文件描述符的对应的缓冲区的数据发生了改变 if(FD_ISSET(lfd,&tmp)){ //表示有新客户端连接 struct sockaddr_in cliaddr; int len = sizeof(cliaddr); int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len); //将新的文件描述符加入到集合中 FD_SET(cfd,&rdset); //更新最大文件描述符 maxfd = maxfd>cfd ? maxfd : cfd; } for(int i=lfd+1;i<=maxfd;++i){ if(FD_ISSET(i,&tmp)){ //说明这个文件描述符的客户端发来了数据 char buf[1024]={0}; int num = read(i,buf,sizeof(buf)); if(num==-1){ perror("read"); exit(-1); } else if(num==0){ //说明客户端断开连接了 printf("client %d is closed.....\n", i); //关闭描述符和清掉集合中 close(i); FD_CLR(i,&rdset); }else if(num>0){ printf("read: %s\n", buf); write(i, buf, strlen(buf)+1); } } } } } close(lfd); return 0; }
不实用多进程多线程完成多客户端的连接。
三、Poll
首先是select的缺点：
首先是Poll函数
#include <poll.h> struct pollfd { int fd; /* 委托内核检测的文件描述符 */ short events; /* 委托内核检测文件描述符的什么事件 */ short revents; /* 文件描述符实际发生的事件 */ }; struct pollfd myfd; myfd.fd = 5; myfd.events = POLLIN | POLLOUT; int poll(struct pollfd *fds, nfds_t nfds, int timeout); - 参数： - fds : 是一个struct pollfd 结构体数组，这是一个需要检测的文件描述符的集合 - nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1 - timeout : 阻塞时长 0 : 不阻塞 -1 : 阻塞，当检测到需要检测的文件描述符有变化，解除阻塞 >0 : 阻塞的时长 - 返回值： -1 : 失败 >0（n） : 成功,n表示检测到集合中有n个文件描述符发生变化
事件的参数：
POLL代码：
/* poll实现I/O多路复用 */ #include<stdio.h> #include<arpa/inet.h> #include<unistd.h> #include<stdlib.h> #include<string.h> #include<signal.h> #include<wait.h> #include<errno.h> #include <sys/time.h> #include <sys/types.h> #include <sys/select.h> #include<poll.h> int main(){ //1.创建一个socket int lfd = socket(PF_INET, SOCK_STREAM, 0); if(lfd == -1){ perror("socket"); exit(-1); } struct sockaddr_in saddr; saddr.sin_addr.s_addr = INADDR_ANY; saddr.sin_family = AF_INET; saddr.sin_port = htons(9999); //2.绑定 bind(lfd, (struct sockaddr*)&saddr, sizeof(saddr)); //3.监听 listen(lfd, 8); //初始化poll结构体集合 struct pollfd fds[1024]; for(int i=0;i<1024;++i){ fds[i].fd=-1; fds[i].events= POLLIN; } fds[0].fd=lfd; int nfds = 0; while(1){ //调用poll系统函数，让内核帮忙检测哪些文件描述符有数据 int ret = poll(fds,nfds+1,-1); if(ret==-1){ perror("poll"); exit(-1); }else if(ret==0){ continue; }else if(ret>0){ //说明检测到有文件描述符的对应的缓冲区的数据发生了改变 if(fds[0].revents & POLLIN){ //表示有新客户端连接 struct sockaddr_in cliaddr; int len = sizeof(cliaddr); int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len); //将新的文件描述符加入到集合中 for(int i = 1;i < 1024;++i){ if(fds[i].fd==-1){ fds[i].fd=cfd; fds[i].events=POLLIN; break; } } //更新最大文件描述符的索引 nfds = nfds>cfd ? nfds : cfd; } for(int i=1;i<=nfds;++i){ if(fds[i].revents & POLLIN){ //说明这个文件描述符的客户端发来了数据 char buf[1024]={0}; int num = read(fds[i].fd,buf,sizeof(buf)); if(num==-1){ perror("read"); exit(-1); } else if(num==0){ //说明客户端断开连接了 printf("client %d is closed.....\n", fds[i].fd); //关闭描述符和清掉集合中 close(fds[i].fd); fds[i].fd=-1; }else if(num>0){ printf("read: %s\n", buf); write(fds[i].fd, buf, strlen(buf)+1); } } } } } close(lfd); return 0; }
四、epoll
POLL改进了SELECT的第三第四个缺点，但是还是没有解决根本的用户态到内核态拷贝的问题，知道改变，但仍然要遍历,epoll工作模式如下：
相关函数：
#include <sys/epoll.h> // 创建一个新的epoll实例。在内核中创建了一个数据，这个数据中有两个比较重要的数据，一个是需要检测的文件描述符的信息（红黑树），还有一个是就绪列表，存放检测到数据发送改变的文件描述符信息（双向链表）。 int epoll_create(int size); - 参数： size : 目前没有意义了。随便写一个数，必须大于0 - 返回值： -1 : 失败 > 0 : 文件描述符，操作epoll实例的 typedef union epoll_data { void *ptr; int fd; uint32_t u32; uint64_t u64; } epoll_data_t; struct epoll_event { uint32_t events; /* Epoll 事件 */ epoll_data_t data; /* User data variable */ }; 常见的Epoll检测事件： - EPOLLIN - EPOLLOUT - EPOLLERR
- EPOLLET （边沿触发模式） // 对epoll实例进行管理：添加文件描述符信息，删除信息，修改信息 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); - 参数： - epfd : epoll实例对应的文件描述符 - op : 要进行什么操作 EPOLL_CTL_ADD: 添加 EPOLL_CTL_MOD: 修改 EPOLL_CTL_DEL: 删除 - fd : 要检测的文件描述符 - event : 检测文件描述符什么事情 // 检测函数 int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); - 参数： - epfd : epoll实例对应的文件描述符 - events : 传出参数，保存了发送了变化的文件描述符的信息 - maxevents : 第二个参数结构体数组的大小 - timeout : 阻塞时间 - 0 : 不阻塞 - -1 : 阻塞，直到检测到fd数据发生变化，解除阻塞 - > 0 : 阻塞的时长（毫秒） - 返回值： - 成功，返回发送变化的文件描述符的个数 > 0 - 失败 -1
EPOLL完成I/O多路复用：
#include <sys/epoll.h> #include<stdio.h> #include<arpa/inet.h> #include<unistd.h> #include<stdlib.h> #include<string.h> #include <sys/time.h> #include <sys/types.h> int main(){ //1.创建一个socket int lfd = socket(PF_INET, SOCK_STREAM, 0); if(lfd == -1){ perror("socket"); exit(-1); } struct sockaddr_in saddr; saddr.sin_addr.s_addr = INADDR_ANY; saddr.sin_family = AF_INET; saddr.sin_port = htons(9999); //2.绑定 bind(lfd, (struct sockaddr*)&saddr, sizeof(saddr)); //3.监听 listen(lfd, 8); //调用epoll_create()创建一个epoll实例 int epfd = epoll_create(100); //将监听的文件描述符添加到epoll实例 struct epoll_event epev; epev.events = EPOLLIN; epev.data.fd = lfd; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev); struct epoll_event epevs[1024]; while(1){ //调用epoll_wait()，去检测哪些文件描述符有实例 int ret = epoll_wait(epfd, epevs, 1024, -1); if(ret==-1){ perror("epoll"); exit(-1); } printf("ret = %d\n", ret); for(int i=0;i<ret;++i){ if(epevs[i].data.fd == lfd){ //监听的文件描述符有客户端连接 struct sockaddr_in cliaddr; int len = sizeof(cliaddr); int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len); //将新的文件描述符封装到epoll中 epev.events = EPOLLIN; epev.data.fd = cfd; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev); } else{ if(epevs[i].events & EPOLLOUT)continue; //说明这个文件描述符的客户端发来了数据 char buf[1024]={0}; int num = read(epevs[i].data.fd,buf,sizeof(buf)); if(num==-1){ perror("read"); exit(-1); } else if(num==0){ //说明客户端断开连接了 printf("client %d is closed.....\n", epevs[i].data.fd); //关闭描述符和删除epoll中文件描述符 epoll_ctl(epfd, EPOLL_CTL_DEL, epevs[i].data.fd, NULL); close(epevs[i].data.fd); }else if(num>0){ printf("read: %s\n", buf); write(epevs[i].data.fd, buf, strlen(buf)+1); } } } } close(lfd); close(epfd); return 0; }
EPOLL的工作模式：
水平触发(LT模式)：
LT（level - triggered）是缺省的工作方式，并且同时支持 block 和 no-block socket。在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的 fd 进行 IO 操作。如果你不作任何操作，内核还是会继续通知你的。
LT触发的工作情况：
假设委托内核检测读事件 -> 检测fd的读缓冲区
读缓冲区有数据 - > epoll检测到了会给用户通知
a.用户不读数据，数据一直在缓冲区，epoll 会一直通知
b.用户只读了一部分数据，epoll会通知
c.缓冲区的数据读完了，不通知
边沿触发(ET模式)：
ET（edge - triggered）是高速工作方式，只支持 no-block socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了。但是请注意，如果一直不对这个 fd 作 IO 操作（从而导致它再次变成未就绪），内核不会发送更多的通知（only once）。
ET 模式在很大程度上减少了 epoll 事件被重复触发的次数，因此效率要比 LT 模式高。epoll工作在 ET 模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄（文件描述符）的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。
ET触发的工作情况：（只通知一次！）
假设委托内核检测读事件 -> 检测fd的读缓冲区
读缓冲区有数据 - > epoll检测到了会给用户通知
a.用户不读数据，数据一致在缓冲区中，epoll下次检测的时候就不通知了
b.用户只读了一部分数据，epoll不通知
c.缓冲区的数据读完了，不通知
LT工作模式是默认的，下面只给出ET模式代码：
#include <sys/epoll.h> #include<stdio.h> #include<arpa/inet.h> #include<stdlib.h> #include<string.h> #include <sys/time.h> #include <sys/types.h> #include<fcntl.h> #include<unistd.h> #include<errno.h> int main(){ //1.创建一个socket int lfd = socket(PF_INET, SOCK_STREAM, 0); if(lfd == -1){ perror("socket"); exit(-1); } struct sockaddr_in saddr; saddr.sin_addr.s_addr = INADDR_ANY; saddr.sin_family = AF_INET; saddr.sin_port = htons(9999); //2.绑定 bind(lfd, (struct sockaddr*)&saddr, sizeof(saddr)); //3.监听 listen(lfd, 8); //调用epoll_create()创建一个epoll实例 int epfd = epoll_create(100); //将监听的文件描述符添加到epoll实例 struct epoll_event epev; epev.events = EPOLLIN; epev.data.fd = lfd; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &epev); struct epoll_event epevs[1024]; while(1){ //调用epoll_wait()，去检测哪些文件描述符有实例 int ret = epoll_wait(epfd, epevs, 1024, -1); if(ret==-1){ perror("epoll"); exit(-1); } printf("ret = %d\n", ret); for(int i=0;i<ret;++i){ if(epevs[i].data.fd == lfd){ //监听的文件描述符有客户端连接 struct sockaddr_in cliaddr; int len = sizeof(cliaddr); int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len); //设置cfd非阻塞 int flag = fcntl(cfd, F_GETFL); flag |= O_NONBLOCK; fcntl(cfd, F_SETFL, flag); //将新的文件描述符封装到epoll中 epev.events = EPOLLIN | EPOLLET;//设置边沿触发 epev.data.fd = cfd; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &epev); } else{ if(epevs[i].events & EPOLLOUT)continue; //说明这个文件描述符的客户端发来了数据 //需要循环读取所有数据 int length=0; char buf[5]; while((length=read(epevs[i].data.fd, buf, sizeof(buf)))>0){ //有数据打印数据 //printf("recv data: %s\n", buf); write(STDOUT_FILENO, buf, length); write(epevs[i].data.fd, buf, sizeof(buf)); if(length==0){ printf("client closed\n"); }else if(length==-1){ if(errno==EAGAIN){ printf("data over ...\n"); }else{ perror("read"); exit(-1); } } } } } } close(lfd); close(epfd); return 0; }
