io多路复用
I/O多路复用（I/O多路转接）
I/O 多路复用使得程序能同时监听多个文件描述符,能够提高程序的性能,Linux 下实现 I/O 多路复用的
系统调用主要有 select、poll 和 epoll。
SELECT
- 首先要构造一个关于文件描述符的列表，将要监听的文件描述符加入到该列表中。
2.调用一个系统函数，监听该列表中的文件描述符，直到这些描述符的一个或者多个进行IO操作时，该函数才会返回
a. 这个函数是阻塞的
b.函数对文件描述符的操作是由内核来完成的
- 在返回时，他会告诉进程有哪些描述符要进行IO操作
// sizeof(fd_set) = 128 1024
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>
int select(int nfds,fd_set *readfds,fd_set *write_fds,
fd_set *exceptfds,struct timeval *timeout);
- 参数：
- nfds：委托内核检验的最大文件描述符+1
- readfds:要检测的文件描述符读的集合，委托内核检验哪些文件描述符读的属性。
- 一般检验读操作
- 对应的是对方发来的数据，因为读是被动的接收，检验的就是读缓冲区
- writefds：要检测的文件描述符的写的集合,委托内核检测哪些文件描述符的写的属性
- 委托内核检验写缓冲区是不是可以写数据（缓冲区没有满就可以写）
- exceptfds: 检测发生异常的fd集合
- timeout: 等待被检测fd发生变化的时间
struct timeval {
long tv_sec; /* seconds */
long tv_usec; /* microseconds */
};
-NULL:永久阻塞，直到检测到文件描述符的变化
- tv_sec = 0 tv_usec = 0, 不阻塞
- tv_sec > 0 tv_usec > 0, 阻塞对应的时间
返回值：
- -1 ：失败
- >0(n)：检测集合中有n个文件描述符发生了变化
// 将文件描述符fd对应的标志位置设置为0
void FD_CLR(int fd, fd_set *set);
// 判断fd对应的标志位是0还是1, 返回值 : fd对应的标志位的值,0,返回0, 1,返回1
int FD_ISSET(int fd, fd_set *set);
// 将参数文件描述符fd 对应的标志位,设置为1
void FD_SET(int fd, fd_set *set);
// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);
缺点：
- 每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大.
- 同时每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大
- select支持的文件描述符数量太小了,默认是1024
- fds集合不能重用,每次都需要重置(因为每次把FD的位图传入内核区，在内核区会改变位图的各个数值，不能重用)
实现select的io复用服务器(功能只有回显)
大致思路，网络编程那套，加上select轮询，如果是服务器fd有反映就再加一个客户端，并且更新最大fd，如果客户端有反映就读取数据加上回显
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <sys/time.h>
#include <sys/select.h>
#define BUFFSIZE 100
void error_handling(char * buff);
int main (int argc,char * argv[])
{
int server_sock,client_sock;
struct sockaddr_in server_addr,client_addr;
char buf[BUFFSIZE];
if(argc!=2){
printf("USAGE:%s<port>\n",argv[0]);
exit(1);
}
server_sock = socket(PF_INET,SOCK_STREAM,0);
memset(&server_addr,0,sizeof(server_addr));
server_addr.sin_family = AF_INET;
server_addr.sin_addr.s_addr = htonl(INADDR_ANY);
server_addr.sin_port = htons(atoi(argv[1]));
if(bind(server_sock,(struct sockaddr*)&server_addr,sizeof(server_addr)) == -1){
error_handling("bind error!!!");
}
if(listen(server_sock,5) == -1){
error_handling("listen error!!!");
}
fd_set reads,cpy_reads;
socklen_t adr_sz;
int fd_max,str_len,fd_num,i;
struct timeval timeout;
FD_ZERO(&reads);
FD_SET(server_sock,&reads);
fd_max = server_sock;
while(1)
{
cpy_reads = reads;
timeout.tv_sec = 5;
timeout.tv_usec = 5000;
if(fd_num = select(fd_max+1,&cpy_reads,0,0,&timeout) == -1){
break;
}
for(i = 1;i<fd_max+1;i++){
if(FD_ISSET(i,&reads))
{
if(i == server_sock)
{
adr_sz = sizeof(client_addr);
client_sock = accept(server_sock,(struct sockaddr *)&client_addr,&adr_sz);
FD_SET(client_sock,&reads);
if(client_sock>fd_max)
fd_max = client_sock;
printf("connect client:%d\n",client_sock);
}
else{
str_len = read(i,buf,BUFFSIZE);
if(str_len == 0){
FD_CLR(i,&reads);
close(i);
printf("close client:%d\n",i);
}
else{
//回显
write(i,buf,str_len);
}
}
}
}
}
close(server_sock);
return 0;
}
void error_handling(char * buff){
fputs(buff,stderr);
fputc('\n',stderr);
exit(1);
}
poll
原理和select基本一样
#include <poll.h>
struct pollfd {
int fd; //委托内核检查的文件描述符事件
short event; //委托内核检查文件描述符的什么事件
short revent; //文件描述符实际发生的事件
}
struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT;
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
- 参数：
- fds：是一个struct pollfd 结构体数组,这是一个需要检测的文件描述符的集合
- nfds:这个是第一个参数数组中最后一个有效元素的下标 + 1
- timeout : 阻塞时长0 : 不阻塞
-1 : 阻塞,当检测到需要检测的文件描述符有变化,解除阻塞
>0 : 阻塞的时长
epoll
#include<sys/epoll>
//创建一个新的epoll示例，在内核中创建一个数据，这个数据有两个比较重要的数据，一个是需要检查的文件的信息（红黑树），还有一个是就绪列表，存放检测到数据发送改变的文件描述符信息(双向链表)。
int epoll_create(int size);
参数：
- size：目前没有意义，随便写一个大于0的数字就可以
- 返回值：
-1：失败
>0: 文件描述符，操作epoll示例的
typedef union epoll_data {
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
struct epoll_event{
uint32_t events; /* Epoll events */
epoll_data_t data;/* User data variable */
}
常见的Epoll检测事件:
- EPOLLIN
- EPOLLOUT
- EPOLLERR
// 对epoll实例进行管理:添加文件描述符信息,删除信息,修改信息
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
- 参数:
- epfd : epoll实例对应的文件描述符
- op : 要进行什么操作
EPOLL_CTL_ADD: 添加
EPOLL_CTL_MOD: 修改
EPOLL_CTL_DEL: 删除
- fd : 要检测的文件描述符
- event : 检测文件描述符什么事情
//检查函数
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
- 参数:
- epfd : epoll实例对应的文件描述符
- events : 传出参数,保存了发送了变化的文件描述符的信息
- maxevents : 第二个参数结构体数组的大小
- timeout : 阻塞时间
- 0 : 不阻塞
- -1 : 阻塞,直到检测到fd数据发生变化,解除阻塞
- > 0 : 阻塞的时长(毫秒)
- 返回值:
- 成功,返回发送变化的文件描述符的个数 > 0
- 失败 -1
Epoll的工作模式
- LT模式（水平触发）
假设委托内核检验读事件->检测内核的读缓冲区
读缓冲区有数据->epoll检验到了会给用户通知
a.用户不读数据，数据一直在缓冲区，epoll会一直通知
b.用户只读取了一部分数据，epoll会通知
c.缓冲区的数字读完，不通知。
LT是缺省的工作方式，并且同时支持阻塞和非阻塞两种，在这种做法中,内核告诉你一个文件描述符是否就绪了,然后你可以对这个就绪的 fd 进行 IO 操作。如果你不作任何操作,内核还是会继续通知你的。
- ET模式（边沿触发）
假设委托内核检测读事件 -> 检测fd的读缓冲区
读缓冲区有数据 - > epoll检测到了会给用户通知
a.用户不读数据,数据一致在缓冲区中,epoll下次检测的时候就不通知了
b.用户只读了一部分数据,epoll不通知
c.缓冲区的数据读完了,不通知
ET(edge - triggered)是高速工作方式,只支持 no-block socket。在这种模式下,当描述符从未就绪变为就绪时,内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪,并且不会再为那个文件描述符发送更多的就绪通知,直到你做了某些操作导致那个文件描述符不再为就绪状态了。但是请注意,如果一直不对这个 fd 作 IO 操作(从而导致它再次变成未就绪),内核不会发送更多的通知(only once)
ET 模式在很大程度上减少了 epoll 事件被重复触发的次数,因此效率要比 LT 模式高。epoll
工作在 ET 模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写
操作把处理多个文件描述符的任务饿死
EPOLL代码示例
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#define BUF_SIZE 100
#define EPOLL_SIZE 50
void error_handling(char * buf);
int main (int argc,char*argv[])
{
int server_socket,client_socket;
sockaddr_in server_adr,client_adr;
if(argc!=2){
printf("usage:%s<port>\n",argv[0]);
exit(1);
}
server_socket = socket(PF_INET,SOCK_STREAM,0);
memset(&server_adr,0,sizeof(server_adr));
server_adr.sin_family = AF_INET;
server_adr.sin_addr.s_addr = htonl(INADDR_ANY);
server_adr.sin_port = htons(atoi(argv[1]));
if(bind(server_socket,(struct sockaddr*)&server_adr,sizeof(server_adr)) == -1){
error_handling("bind() error");
}
if(listen(server_socket,5) == -1){
error_handling("listen() error");
}
struct epoll_event * ep_event;
struct epoll_event event;
int epfd,event_cnt;
int i,str_len;
socklen_t adr_size;
char * buf[BUF_SIZE];
epfd = epoll_create1(EPOLL_SIZE);
ep_event = (struct epoll_event*)malloc(sizeof(struct epoll_event)*EPOLL_SIZE);
event.events = EPOLLIN;
event.data.fd = server_socket;
epoll_ctl(epfd,EPOLL_CTL_ADD,server_socket,&event);
while (1)
{
event_cnt = epoll_wait(epfd,ep_event,EPOLL_SIZE,-1);
//if
for( i = 0;i<event_cnt;i++){
if(ep_event[i].data.fd == server_socket){
adr_size = sizeof(client_adr);
client_socket = accept(server_socket,(struct sockaddr*)&client_adr,&adr_size);
event.events = EPOLLIN;
event.data.fd = client_socket;
epoll_ctl(epfd,EPOLL_CTL_ADD,client_socket,&event);
printf("connected client:%d\n",client_socket);
}
else{
str_len = read(ep_event[i].data.fd,buf,BUF_SIZE);
if(str_len == 0)
{
epoll_ctl(epfd,EPOLL_CTL_DEL,ep_event[i].data.fd,NULL);
close(ep_event[i].data.fd);
printf("closed client:%d\n",ep_event[i].data.fd);
}
else{
write(ep_event[i].data.fd,buf,str_len);
}
}
}
}
close(server_socket);
close(epfd);
return 0;
}
void error_handling(char* message)
{
fputs(message,stderr);
fputc('\n',stderr);
exit(1);
}
