Linux网络编程(六)
网络编程中，使用多路IO复用的典型场合：
1.当客户处理多个描述字时（交互式输入以及网络接口），必须使用IO复用。
2.一个客户同时处理多个套接口。
3.一个tcp服务程序既要处理监听套接口，又要处理连接套接口，一般需要用到IO复用。
4.如果一个服务器既要处理TCP，又要处理UDP，一般也需要用到IO复用。
5.如果一个服务器要处理多个服务或者多个协议，一般需要用到IO复用。
linux提供了select、poll、epoll等方法来实现IO复用，三者的原型如下：
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); int poll(struct pollfd *fds, nfds_t nfds, int timeout); int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
函数参数说明：
| select | slect的第一个参数nfds为fdset集合中最大描述符值加1，fdset是一个位数组，其大小限制为
__FD_SETSIZE（1024），位数组的每一位代表其对应的描述符是否需要被检查。
select的第二三四个参数表示需要关注读、写、错误事件的文件描述符位数组，这些参数既是输入参数也是输出 参数，可能会被内核修改用于标示哪些描述符上发生了关注的事件。所以每次调用select前都需重新初始化 fdset。
timeout参数为超时时间，该结构会被内核修改，其值为超时剩余的时间。 |
| poll | poll与select不同，通过一个pollfd数组向内核传递需要关注的事件，故没有描述符个数的限制，pollfd中的
events字段和revents分别用于标示关注的事件和发生的事件，故pollfd数组只需要被初始化一次。
poll的实现机制与select类似，其对应内核中的sys_poll，只不过poll向内核传递pollfd数组，然后对pollfd中的 每个描述符进行poll，相比处理fdset来说，poll效率更高。
poll返回后，需要对pollfd中的每个元素检查其revents值，来得指事件是否发生。 |
| epoll | epoll通过epoll_create创建一个用于epoll轮询的描述符，通过epoll_ctl添加/修改/删除事件，通过epoll_wait
检查事件，epoll_wait的第二个参数用于存放结果。
epoll与select、poll不同，首先，其不用每次调用都向内核拷贝事件描述信息，在第一次调用后，事件信息就会 与对应的epoll描述符关联起来。另外epoll不是通过轮询，而是通过在等待的描述符上注册回调函数，当事件发 生时，回调函数负责把发生的事件存储在就绪事件链表中，最后写到用户空间。
epoll返回后，该参数指向的缓冲区中即为发生的事件，对缓冲区中每个元素进行处理即可，而不需要像poll、 select那样进行轮询检查。 |
select、poll、epoll比较：
| select |
select本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理。这样所带来的缺点是： 1.单个进程可监视的fd数量被限制。 2.需要维护一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大。 3.对socket进行扫描时是线性扫描。 |
| poll |
poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。 它没有最大连接数的限制，原因是它是基于链表来存储的，但是同样有一个缺点： 大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义。 poll还有一个特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd。 |
| epoll |
epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次。 在前面说到的复制问题上，epoll使用mmap减少复制开销。 还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll_wait便可以收到通知。 |
进程所能打开的最大连接数：
| select | 单个进程所能打开的最大连接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是32*32，同理64位机器上FD_SETSIZE为32*64），当然我们可以对进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步的测试。 |
| poll | poll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的。 |
| epoll | 虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接 |
FD剧增后带来的IO效率问题：
| select | 因为每次调用时都会对连接进行线性遍历，所以随着FD的增加会造成遍历速度慢的“线性下降性能问题”。 |
| poll | 同上 |
| epoll | 因为epoll内核中实现是根据每个fd上的callback函数来实现的，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的线性下降的性能问题，但是所有socket都很活跃的情况下，可能会有性能问题。 |
消息传递方式
| select | 内核需要将消息传递到用户空间，都需要内核拷贝动作 |
| poll | 同上 |
| epoll | epoll通过内核和用户空间共享一块内存来实现的。 |
Linux网络编程(五)中用select实现了多路IO复用，如果用poll来实现的话。代码如下：
服务器端功能：
使用单进程为多个客户端服务,接收到客户端发来的一条消息后，将该消息原样返回给客户端。首先，建立一个监听套接字来接收来自客户端的连接。每当接收到一个连接后，将该连接套接字加入客户端套接字数组，通过poll实现多路复用。每当poll返回时，检查pollfd数组的状态。并进行相应操作，如果是新的连接到来，则将新的连接套接字登记到pollfd数组，如果是已有客户端连接套接字变为可读，则对相应客户端进行响应。
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <sys/types.h>
#include <netdb.h>
#include <errno.h>
#include <poll.h>
#define OPEN_MAX 1113
#define SERV_PORT 2048
#define LISTENQ 32
#define MAXLINE 1024
int
main(int argc, char **argv)
{
int i, maxi,listenfd, connfd, sockfd;
int nready;
ssize_t n;
char buf[MAXLINE];
socklen_t clilen;
struct sockaddr_in cliaddr, servaddr;
struct pollfd client[OPEN_MAX];
if((listenfd = socket(AF_INET, SOCK_STREAM,0))==-1){
fprintf(stderr,"Socket error:%s\n\a",strerror(errno));
exit(1);
}
/* 服务器端填充 sockaddr结构*/
memset(&servaddr,0,sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
servaddr.sin_port = htons(SERV_PORT);
/* 捆绑listenfd描述符 */
if(bind(listenfd,(struct sockaddr*)(&servaddr),sizeof(struct sockaddr))==-1){
fprintf(stderr,"Bind error:%s\n\a",strerror(errno));
exit(1);
}
/* 监听listenfd描述符*/
if(listen(listenfd,LISTENQ)==-1){
fprintf(stderr,"Listen error:%s\n\a",strerror(errno));
exit(1);
}
client[0].fd=listenfd;
client[0].events=POLLRDNORM;/*等待普通数据可读*/
maxi = 0; /*client数组索引*/
for (i = 1; i < FD_SETSIZE; i++)
client[i].fd = -1; /* -1代表未使用*/
for ( ; ; ) {
if((nready = poll(client, maxi+1, -1))<0){/*永远等待*/
fprintf(stderr,"poll Error\n");
exit(1);
}
if (client[0].revents & POLLRDNORM){/*有新的客户端连接到来*/
clilen = sizeof(cliaddr);
if((connfd = accept(listenfd, (struct sockaddr *)&cliaddr,&clilen))<0){
fprintf(stderr,"accept Error\n");
continue;
}
char des[sizeof(cliaddr)];
inet_ntop(AF_INET, &cliaddr.sin_addr, des, sizeof(cliaddr));
printf("new client: %s, port %d\n",des,ntohs(cliaddr.sin_port));
for (i = 0; i < OPEN_MAX; i++)
if (client[i].fd < 0) {
client[i].fd = connfd; /*保存新的连接套接字*/
break;
}
if (i == OPEN_MAX){
fprintf(stderr,"too many clients");
exit(1);
}
client[i].events=POLLRDNORM; /*设置新套接字的普通数据可读事件*/
if (i > maxi)
maxi = i; /*当前client数组最大下标值*/
if (--nready <= 0)
continue; /*可读的套接字全部处理完了*/
}
for (i = 1; i <= maxi; i++) { /*检查所有已经连接的客户端是否有数据可读*/
if ( (sockfd = client[i].fd) < 0)
continue;
if (client[i].revents & (POLLRDNORM|POLLERR)){
if ((n = read(sockfd, buf, MAXLINE)) == 0){/*客户端主动断开了连接*/
close(sockfd);
client[i].fd = -1;/*设置为-1，表示未使用*/
} else if(n<0){/*小于0，是出错的节奏*/
if(errno==ECONNRESET){/*客户端发送了reset分节*/
close(sockfd);
client[i].fd = -1;
}
else{
fprintf(stderr,"read error");
exit(1);
}
}
else
write(sockfd, buf, n);
if (--nready <= 0)
break; /*可读的套接字全部处理完了*/
}
}
}
}
因为客户端代码只需要同时处理来标准输入是否可读以及socket是否可读两路IO，因此仍然使用select时的客户端程序。
本程序(客户端)功能：
1.向服务器发起连接请求，并从标准输入stdin获取字符串，将字符串发往服务器。
2.从服务器中接收字符串，并将接收到的字符串输出到标准输出stdout.
=========================================================================
问题：由于既要从标准输入获取数据，又要从连接套接字中读取服务器发来的数据。
为避免当套接字上发生了某些事件时，程序阻塞于fgets()调用，由于这两只
需要处理两路IO，因此程序客户端程序仍然使用select实现多路IO复用，或等
待标准输入，或等待套接口可读。这样一来，若服务器进程终止，客户端能马上得到通知。
=========================================================================
对于客户端套接口，需要处理以下三种情况：
1.服务器端发送了数据过来，套接口变为可读，且read返回值大于0
2.服务器端发送了一个FIN(服务器进程终止)，套接口变为可读，且read返回值等于0
3.服务器端发送了一个RST(服务器进程崩溃，且重新启动，此时服务器程序已经不认
识之前建立好了的连接，所以发送一个RST给客户端)，套接口变为可读，且read返回-1
错误码存放在了errno
代码如下：
//使用多路复用select的客户端程序
#include <stdlib.h>
#include <stdio.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <sys/types.h>
#include <netdb.h>
#define SERV_PORT 2048
#define MAXLINE 1024
#define max(x,y) (x)>(y) ? (x):(y)
void str_cli(FILE *fp, int sockfd);
int
main(int argc, char **argv)
{
int sockfd;
struct sockaddr_in servaddr;
if (argc != 2){
fprintf(stderr,"usage: tcpcli <IPaddress>\n\a");
exit(0);
}
if((sockfd=socket(AF_INET,SOCK_STREAM,0))==-1){
fprintf(stderr,"Socket error:%s\n\a",strerror(errno));
exit(1);
}
/*客户程序填充服务端的资料*/
memset(&servaddr,0,sizeof(servaddr));
servaddr.sin_family=AF_INET;
servaddr.sin_port=htons(SERV_PORT);
if (inet_pton(AF_INET, argv[1], &servaddr.sin_addr) <= 0){
fprintf(stderr,"inet_pton Error:%s\a\n",strerror(errno));
exit(1);
}
/* 客户程序发起连接请求*/
if(connect(sockfd,(struct sockaddr *)(&servaddr),sizeof(struct sockaddr))==-1){
fprintf(stderr,"connect Error:%s\a\n",strerror(errno));
exit(1);
}
str_cli(stdin, sockfd); /*重点工作都在此函数*/
exit(0);
}
void
str_cli(FILE *fp, int sockfd)
{
int maxfdp1, stdineof;
fd_set rset;/*用于存放可读文件描述符集合*/
char buf[MAXLINE];
int n;
stdineof = 0;/*用于标识是否结束了标准输入*/
FD_ZERO(&rset);
while(1){
if (stdineof == 0)
FD_SET(fileno(fp), &rset);
FD_SET(sockfd, &rset);
maxfdp1 = max(fileno(fp), sockfd) + 1;
if(select(maxfdp1, &rset, NULL, NULL, NULL)<0){/*阻塞，直到有数据可读或出错*/
fprintf(stderr,"select Error\n");
exit(1);
}
if (FD_ISSET(sockfd, &rset)) { /*套接口有数据可读*/
if ( (n = read(sockfd, buf, MAXLINE)) == 0) {
if (stdineof == 1)
return; /*标准输入正常结束*/
else
fprintf(stderr,"str_cli: server terminated prematurely");
}
write(fileno(stdout), buf, n);/*将收到的数据写到标准输出*/
}
if (FD_ISSET(fileno(fp), &rset)) { /*标准输入可读*/
if ( (n = read(fileno(fp), buf, MAXLINE)) == 0) {
stdineof = 1;
/*向服务器发送FIN，告诉它，后续已经没有数据发送了，但仍为读而开放套接口，注意这里使用了shutdown，而不是close*/
if(-1==shutdown(sockfd, SHUT_WR)){
fprintf(stderr,"shutdown Error\n");
}
FD_CLR(fileno(fp), &rset);
continue;
}
write(sockfd, buf, n);
}
}
}
关于close与shutdown的区别：
close()将描述字的访问计数减1，仅在访问计数为0时才关闭套接字。
shutdown()可以激发TCP的正常连接终止系列，而不管访问计数。
close()终止了数据传输的两个方向：读、写。
