c++ socket API使用流程(转)
POSIX介绍
POSIX表示可移植操作系统接口(Portable Operating System Interface of UNIX,缩写为 POSIX ),POSIX标准定义了操作系统应该为应用程序提供的接口标准。
POSIX标准意在期望获得源代码级别的软件可移植性。换句话说,为一个POSIX兼容的操作系统编写的程序,应该可以在任何其它的POSIX操作系统(即使是来自另一个厂商)上编译执行。
简单总结:
完成同一功能,不同内核提供的系统调用(也就是一个函数)是不同的,例如创建进程,linux下是fork函数,windows下是creatprocess函数。好,我现在在linux下写一个程序,用到fork函数,那么这个程序该怎么往windows上移植?我需要把源代码里的fork通通改成creatprocess,然后重新编译…
posix标准的出现就是为了解决这个问题。linux和windows都要实现基本的posix标准,linux把fork函数封装成posix_fork(随便说的),windows把creatprocess函数也封装成posix_fork,都声明在unistd.h里。这样,程序员编写普通应用时候,只用包含unistd.h,调用posix_fork函数,程序就在源代码级别可移植了。
1 POSIX网络API
网络编程常用的API:
2 函数与内部过程分析
2.1 Socket
int socket(int domain, int type, int protocol);
调用socket()会创建一个套接字(socket)对象。套接字由两部分组成,文件描述符(fd)和TCP Control Block(tcb)。
socket作为网络编程的第一个函数,主要作用是用于创建句柄和对应的TCB控制块;建立起文件描述符和内部控制块的对应关系,类似与插座和槽的关系。TCB主要包括关系信息有网络的五元组(remote IP,remote PORT, local IP, local PORT, protocol)确定一个具体的网络连接
socket函数对应于普通文件的打开操作。普通文件的打开操作返回一个文件描述字,而socket()用于创建一个socket描述符(socket descriptor),它唯一标识一个socket。这个socket描述字跟文件描述字一样,后续的操作都有用到它,把它作为参数,通过它来进行一些读写操作。
正如可以给fopen的传入不同参数值,以打开不同的文件。创建socket的时候,也可以指定不同的参数创建不同的socket描述符,socket函数的三个参数分别为:
- domain: 即协议域,又称为协议族(family)。常用的协议族有,AF_INET、AF_INET6、AF_LOCAL(或称AF_UNIX,Unix域socket)、AF_ROUTE等等。协议族决定了socket的地址类型,在通信中必须采用对应的地址,如AF_INET决定了要用ipv4地址(32位的)与端口号(16位的)的组合、AF_UNIX决定了要用一个绝对路径名作为地址。
- type: 指定socket类型。常用的socket类型有,SOCK_STREAM、SOCK_DGRAM、SOCK_RAW、SOCK_PACKET、SOCK_SEQPACKET等等(socket的类型有哪些?)。
- protocol: 故名思意,就是指定协议。常用的协议有,IPPROTO_TCP、IPPTOTO_UDP、IPPROTO_SCTP、IPPROTO_TIPC等,它们分别对应TCP传输协议、UDP传输协议、STCP传输协议、TIPC传输协议(这个协议我将会单独开篇讨论!)。
注意:并不是上面的type和protocol可以随意组合的,如SOCK_STREAM不可以跟IPPROTO_UDP组合。当protocol为0时,会自动选择type类型对应的默认协议。
当我们调用socket创建一个socket时,返回的socket描述字它存在于协议族(address family,AF_XXX)空间中,但没有一个具体的地址。如果想要给它赋值一个地址,就必须调用bind()函数,否则就当调用connect()、listen()时系统会自动随机分配一个端口。
2.2 bind
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
正如上面所说bind()函数把一个地址族中的特定地址赋给socket。例如对应AF_INET、AF_INET6就是把一个ipv4或ipv6地址和端口号组合赋给socket。
函数的三个参数分别为:
- sockfd:即socket描述字,它是通过socket()函数创建了,唯一标识一个socket。bind()函数就是将给这个描述字绑定一个名字。
- addr:一个const struct sockaddr *指针,指向要绑定给sockfd的协议地址。这个地址结构根据地址创建socket时的地址协议族的不同而不同,如ipv4对应的是:
struct sockaddr_in { sa_family_t sin_family; /* address family: AF_INET */ in_port_t sin_port; /* port in network byte order */ struct in_addr sin_addr; /* internet address */ }; /* Internet address. */ struct in_addr { uint32_t s_addr; /* address in network byte order */ };
ipv6对应的是:
struct sockaddr_in6 { sa_family_t sin6_family; /* AF_INET6 */ in_port_t sin6_port; /* port number */ uint32_t sin6_flowinfo; /* IPv6 flow information */ struct in6_addr sin6_addr; /* IPv6 address */ uint32_t sin6_scope_id; /* Scope ID (new in 2.4) */ }; struct in6_addr { unsigned char s6_addr[16]; /* IPv6 address */ };
Unix域对应的是:
#define UNIX_PATH_MAX 108 struct sockaddr_un { sa_family_t sun_family; /* AF_UNIX */ char sun_path[UNIX_PATH_MAX]; /* pathname */ };
- addrlen:对应的是地址的长度。
通常服务器在启动的时候都会绑定一个众所周知的地址(如ip地址+端口号),用于提供服务,客户就可以通过它来接连服务器;而客户端就不用指定,有系统自动分配一个端口号和自身的ip地址组合。这就是为什么通常服务器端在listen之前会调用bind(),而客户端就不会调用,而是在connect()时由系统随机生成一个。
/* 网络字节序与主机字节序 主机字节序就是我们平常说的大端和小端模式:不同的CPU有不同的字节序类型,这些字节序是指整数在内存中保存的顺序,这个叫做主机序。引用标准的Big-Endian和Little-Endian的定义如下: a) Little-Endian就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。 b) Big-Endian就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。 网络字节序:4个字节的32 bit值以下面的次序传输:首先是0~7bit,其次8~15bit,然后16~23bit,最后是24~31bit。这种传输次序称作大端字节序。由于TCP/IP首部中所有的二进制整数在网络中传输时都要求以这种次序,因此它又称作网络字节序。字节序,顾名思义字节的顺序,就是大于一个字节类型的数据在内存中的存放顺序,一个字节的数据没有顺序的问题了。 */
所以: 在将一个地址绑定到socket的时候,请先将主机字节序转换成为网络字节序,而不要假定主机字节序跟网络字节序一样使用的是Big-Endian。由于 这个问题曾引发过血案!公司项目代码中由于存在这个问题,导致了很多莫名其妙的问题,所以请谨记对主机字节序不要做任何假定,务必将其转化为网络字节序再 赋给socket。
2.3 listen/connect/accept
2.3.1 listen()
服务端调用listen()后,让套接字进入被动监听状态(并不是说调用listen的过程中进入这个状态,而是调用返回后一直处于这个状态),所谓被动监听,是指当没有客户端请求时,套接字处于“睡眠”状态,只有当接收到客户端请求时,套接字才会被“唤醒”来响应请求。所以,执行accept的是被动套接字,执行connect的是主动套接字。
listen(fd,size),fd是socket的文件描述符,size在Linux是指全连接队列的长度,即一次最多能保存size个连接请求。
(注意listen并没有阻塞服务器,只是让服务器socket进入被动监听状态,后面调用的accept才会阻塞socket)
2.3.2 connect()
客户端调用connect()函数,向指定服务端发起连接请求。(阻塞等待连接,内核中对connect有75秒的超时限制。也可以将socket设为非阻塞模式,然后自己设置一个超时时间,再结合select方法(select监控一个fd列表,可以通过select查看指定的fd是否已就绪),就可以让我们不用阻塞等待一个socket的fd,而是可以在一个线程内创建多个socket,实现IO多路复用。参考:
https://www.cnblogs.com/gangzilife/p/9766292.html)
2.3.3 accept()
accept会阻塞服务器,直到socket监听到连接请求后,accept将连接请求加入半连接队列,3次握手后再将连接从半连接队列放到全连接队列(accept是不断循环调用的,每次循环会连接一个客户端,如果有多个连接的话则放到请求队列中再依次取出),然后给该连接分配一个fd并返回它
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
TCP服务器端依次调用socket()、bind()、listen()之后,就会监听指定的socket地址了。TCP客户端依次调用socket()、connect()之后就想TCP服务器发送了一个连接请求。TCP服务器监听到这个请求之后,就会调用accept()函数取接收请求,这样连接就建立好了。之后就可以开始网络I/O操作了,即类同于普通文件的读写I/O操作。
accept函数的第一个参数为服务器的socket描述字,第二个参数为指向struct sockaddr *的指针,用于返回客户端的协议地址,第三个参数为协议地址的长度。如果accpet成功,那么其返回值是由内核自动生成的一个全新的描述字,代表与返回客户的TCP连接。
注意:accept的第一个参数为服务器的socket描述字,是服务器开始调用socket()函数生成的,称为监听socket描述字;而accept函数返回的是已连接的socket描述字。一个服务器通常通常仅仅只创建一个监听socket描述字,它在该服务器的生命周期内一直存在。内核为每个由服务器进程接受的客户连接创建了一个已连接socket描述字,当服务器完成了对某个客户的服务,相应的已连接socket描述字就被关闭。
2.3.4 小结
int socket(int domain, int type, int protocol);
创建一个套接字(socket)对象,类似于普通文件的打开操作
domain:指定协议族,决定本端的IP地址类型,如AF_INET(32位的ipv4地址与16位的端口号组合)
type: 指定socket类型,如SOCK_STREAM
protocol:指定协议,如IPPROTO_TCP(TCP协议)
返回值:该socket的文件描述符fd的值
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
服务器在启动的时候要绑定它的地址(ip地址+端口号),这个接口就是由服务器调用,用来把服务器地址赋给socket,例如AF_INET就是把一个ipv4和端口号组合赋给socket。
sockfd:要绑定的fd
addr:sockfd的协议地址指针(这个结构根据socket类型而不同,例如sockaddr_in *对应ipv4地址,sockaddr_in6 *对应ipv6)
addrlen:addr结构的长度
int listen(int fd,int backlog);
服务器调用listen()让套接字进入被动监听状态。
fd:服务器socket的fd
backlog:连接请求队列的最大长度
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
监听到连接请求后将连接请求加入半连接队列,3次握手后将连接从半连接队列放到全连接队列(accept是不断循环调用的,每次循环会连接一个客户端,如果有多个连接的话则放到请求队列中再依次取出),然后给该连接分配一个fd并返回它
sockfd:本端(服务器)socket的fd
addr:指向用来接收客户端协议地址的结构体的指针
addrlen:addr结构的长度
返回值:用于描述客户端socket的fd(完成服务后这个fd会被关闭)
- 服务器调用listen使服务器socket进入被动监听状态;
- 服务器阻塞调用accept,等待连接请求到来;
- 客户端调用connect,向服务器发送连接请求,客户端进入SYN_SEND状态并阻塞;
- 服务器socket监听到请求后,accept函数将客户端加入半连接队列,为客户端分配fd,并向客户端回复ack(此时服务器仍阻塞在accept,但由LISTEN进入SYN_RCVD状态);
- 客户端收到回复后再次回复ack,然后解除阻塞进入ESTABLISHED状态,后面可以用;
- 服务器收到回复后,accept函数将客户端在半连接队列中的TCB数据移动到全连接队列,然后退出accept函数并返回客户端的文件句柄fd和对方的ip端口,服务器由SYN_RCVD进入SESTABLISHED状态。
之后双方就可以调用下面的send/recv函数像读写文件那样与对方通信了
2.3.5 注意点
- 三次握手为啥是三次?
一个完整的TCP连接需要双方都得到确认,客户端发送请求和收到确认需要两次;服务端发送请求和收到确认需要两次,当中服务回复确认和发送请求合并为一次总共需要3次;才能保证双向通道是通的。 - 百万连接是如何做到的?
一个服务器的端口数是65535,为何能做到一百万的连接,主要是因为一条连接是由五元组所组成,所以一个服务器的连接数是五个成员数的乘积。例如:客户端ip:100,客户端port:100,服务端ip:10,服务端port:100,协议:tcp。总的连接数可以达到:10000000连接数。 - DOS攻击怎么解决?
DOS攻击就是利用三次握手的原理,模拟客户端只向服务器发送syn包,然后耗尽被攻击对象的资源。比较多的做法是利用防火墙,做一些过滤规则。
2.4 send/recv等函数
万事具备只欠东风,至此服务器与客户已经建立好连接了。可以调用网络I/O进行读写操作了,即实现了网络中不同进程之间的通信!网络I/O操作有下面几组:
- read()/write()
- recv()/send()
- readv()/writev()
- recvmsg()/sendmsg()
- recvfrom()/sendto()
我推荐使用recvmsg()/sendmsg()函数,这两个函数是最通用的I/O函数,实际上可以把上面的其它函数都替换成这两个函数。它们的声明如下:
#include <unistd.h> ssize_t read(int fd, void *buf, size_t count); ssize_t write(int fd, const void *buf, size_t count); #include <sys/types.h> #include <sys/socket.h> ssize_t send(int sockfd, const void *buf, size_t len, int flags); ssize_t recv(int sockfd, void *buf, size_t len, int flags); ssize_t sendto(int sockfd, const void *buf, size_t len, int flags, const struct sockaddr *dest_addr, socklen_t addrlen); ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags, struct sockaddr *src_addr, socklen_t *addrlen); ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags); ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);
send和recv在连接生命周期中占用的时常最长,主要负责数据的收发。send函数负责将数据拷贝到内核,内核协议栈主要是利用TCB中的发送缓冲区进行数据缓存,然后根据内核自己的策略决定何时将数据发送。接收端数据也是先到达TCB的接收缓冲区,然后才是通过recv拷贝到用户空间。
- recv()
接收数据函数,此函数将数据从内核态的接收缓冲区拷贝到用户空间。注:一般读取发送来的数据可以通过字节流或者字符流的方式,read()也是一个阻塞函数,如果没有声明断开连接,就默认可能还要接受数据,会一直阻塞;
一般的解决方案是设置socket的超时时间,超时就自动关闭;
- send()
发送函数,此函数将数据从用户态拷贝到内核态的发送缓冲区,具体发送由协议控制。
2.4.1 过程分析
send和recv在连接生命周期中占用的时常最长,主要负责数据的收发。send函数负责将数据拷贝到内核,内核协议栈主要是利用TCB中的发送缓冲区进行数据缓存,然后根据内核自己的策略决定何时将数据发送。接收端数据也是先到达TCB的接收缓冲区,然后才是通过recv拷贝到用户空间。
2.4.2 注意事项
- 接收数据的黏包问题如何解决?
一种是利用包头上添加一个数据包长度的字段,用于数据的划分;
另一种是在包的尾部添加分隔符,用于数据的划分; - 如何保证接收数据的顺序到达?
顺序到达是由于TCP的延迟ACK的机制来保证的,TCP接收到数据并不是立即回复而是经过一个延迟时间,回复接收到连续包的最大序列号加1。如果丢包之后的包都需要重传。在弱网情况下这里就会有实时性问题和带宽占用的问题; - UDP优势?
UDP在实时性要求高的场景和弱网情况下较TCP更具有优势。目前竞技类游戏实时性要求高的行业,音视频通话及小数据量交互等场景下UDP使用得比较多。
2.5 close
#include <unistd.h> int close(int fd);
在服务器与客户端建立连接之后,会进行一些读写操作,完成了读写操作就要关闭相应的socket描述字,好比操作完打开的文件要调用fclose关闭打开的文件。
close一个TCP socket的缺省行为时把该socket标记为以关闭,然后立即返回到调用进程。该描述字不能再由调用进程使用,也就是说不能再作为read或write的第一个参数。
注意:close操作只是使相应socket描述字的引用计数-1,只有当引用计数为0的时候,才会触发TCP客户端向服务器发送终止连接请求。
2.5.1 过程分析
close函数是最简单的一个函数,但是断开连接也是状态机也是最为复杂的。close过程涉及到四次挥手的全过程。首先是客户端调用close,内核开始进入四次挥手阶段,首先是发送fin包,自己先进入fin_wait_1状态,然后对方回复ack,进入close_wait状态;这时主动方进入fin_wait_2阶段,等待对方发送fin信息,被动方发送fin后自己进入last_ack状态,主动方发送ack进入time_wait状态。整个过程比较复杂。
- 正常情况下一方调用close情况如下图:
2.当双方同时调用close,如下图:
2.5.2 注意事项
- Fin_wait_1作用?
等待对方回复,超时自动重发fin。 - Fin_wait_2作用?
等待对方业务逻辑处理后,发送fin包。这里有可能出现死等待的情况服务器如果出现大量的Fin_wait_2可能需要考虑是不是没有close,或者close之前做了耗时操作。 - time_wait 作用?
防止最后一个ACK没有顺利到达对方,超时重新发送ack。time_wait时常一般是120s可以修改。 - 服务器掉线重启出现端口被占用怎么办?
其实主要是由于还处于time_wait状态,端口并没有真正释放。这时候可以设置SO_REUSEADDR属性,保证掉线能马上重连。
3 总结
示例
服务端代码
#include<stdio.h> #include<stdlib.h> #include<string.h> #include<errno.h> #include<sys/types.h> #include<sys/socket.h> #include<netinet/in.h> #define MAXLINE 4096
int main(int argc, char** argv) { int listenfd, connfd; struct sockaddr_in servaddr; char buff[4096]; int n; if( (listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1 ){ printf("create socket error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_addr.s_addr = htonl(INADDR_ANY); servaddr.sin_port = htons(6666); if( bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) == -1){ printf("bind socket error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } if( listen(listenfd, 10) == -1){ printf("listen socket error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } printf("======waiting for client's request======\n"); while(1){ if( (connfd = accept(listenfd, (struct sockaddr*)NULL, NULL)) == -1){ printf("accept socket error: %s(errno: %d)",strerror(errno),errno); continue; } n = recv(connfd, buff, MAXLINE, 0); buff[n] = '\0'; printf("recv msg from client: %s\n", buff); close(connfd); } close(listenfd); }
客户端代码
#include<stdio.h> #include<stdlib.h> #include<string.h> #include<errno.h> #include<sys/types.h> #include<sys/socket.h> #include<netinet/in.h> #define MAXLINE 4096 int main(int argc, char** argv) { int sockfd, n; char recvline[4096], sendline[4096]; struct sockaddr_in servaddr; if( argc != 2){ printf("usage: ./client <ipaddress>\n"); exit(0); } if( (sockfd = socket(AF_INET, SOCK_STREAM, 0)) < 0){ printf("create socket error: %s(errno: %d)\n", strerror(errno),errno); exit(0); } memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons(6666); if( inet_pton(AF_INET, argv[1], &servaddr.sin_addr) <= 0){ //IP地址转换函数,用于将点分文本的IP地址转换为二进制网络字节序的IP地址(inet_ntop 则反过来将 “二进制整数” -> “点分十进制”) printf("inet_pton error for %s\n",argv[1]); exit(0); } if( connect(sockfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) < 0){ printf("connect error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } printf("send msg to server: \n"); fgets(sendline, 4096, stdin); if( send(sockfd, sendline, strlen(sendline), 0) < 0) { printf("send msg error: %s(errno: %d)\n", strerror(errno), errno); exit(0); } close(sockfd); exit(0); }
注意:在进行网络通信时可能需要进行字节序转换。
网络协议指定了通讯字节序:大端。只有在多字节数据处理时才需要考虑字节序,运行在同一台计算机上的进程相互通信时,一般不用考虑字节序,异构计算机之间通讯,需要转换自己的字节序为网络字节
参考:https://www.jianshu.com/p/f19dd8229897
另一个例子:https://blog.csdn.net/u012206617/article/details/88563741