c++ socket API使用流程(转)

原文:https://blog.csdn.net/weixin_43687811/article/details/122657720?spm=1001.2101.3001.6650.16&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-16-122657720-blog-121686590.pc_relevant_multi_platform_featuressortv2dupreplace&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-16-122657720-blog-121686590.pc_relevant_multi_platform_featuressortv2dupreplace&utm_relevant_index=27(有改动)

POSIX介绍

POSIX表示可移植操作系统接口(Portable Operating System Interface of UNIX,缩写为 POSIX ),POSIX标准定义了操作系统应该为应用程序提供的接口标准。

POSIX标准意在期望获得源代码级别的软件可移植性。换句话说,为一个POSIX兼容的操作系统编写的程序,应该可以在任何其它的POSIX操作系统(即使是来自另一个厂商)上编译执行。

简单总结:

完成同一功能,不同内核提供的系统调用(也就是一个函数)是不同的,例如创建进程,linux下是fork函数,windows下是creatprocess函数。好,我现在在linux下写一个程序,用到fork函数,那么这个程序该怎么往windows上移植?我需要把源代码里的fork通通改成creatprocess,然后重新编译…

posix标准的出现就是为了解决这个问题。linux和windows都要实现基本的posix标准,linux把fork函数封装成posix_fork(随便说的),windows把creatprocess函数也封装成posix_fork,都声明在unistd.h里。这样,程序员编写普通应用时候,只用包含unistd.h,调用posix_fork函数,程序就在源代码级别可移植了。

1 POSIX网络API

网络编程常用的API:

2 函数与内部过程分析

2.1 Socket

int socket(int domain, int type, int protocol);

调用socket()会创建一个套接字(socket)对象。套接字由两部分组成,文件描述符(fd)和TCP Control Block(tcb)。

socket作为网络编程的第一个函数,主要作用是用于创建句柄和对应的TCB控制块;建立起文件描述符和内部控制块的对应关系,类似与插座和槽的关系。TCB主要包括关系信息有网络的五元组(remote IP,remote PORT, local IP, local PORT, protocol)确定一个具体的网络连接

socket函数对应于普通文件的打开操作。普通文件的打开操作返回一个文件描述字,而socket()用于创建一个socket描述符(socket descriptor),它唯一标识一个socket。这个socket描述字跟文件描述字一样,后续的操作都有用到它,把它作为参数,通过它来进行一些读写操作。

正如可以给fopen的传入不同参数值,以打开不同的文件。创建socket的时候,也可以指定不同的参数创建不同的socket描述符,socket函数的三个参数分别为:

  • domain: 即协议域,又称为协议族(family)。常用的协议族有,AF_INET、AF_INET6、AF_LOCAL(或称AF_UNIX,Unix域socket)、AF_ROUTE等等。协议族决定了socket的地址类型,在通信中必须采用对应的地址,如AF_INET决定了要用ipv4地址(32位的)与端口号(16位的)的组合、AF_UNIX决定了要用一个绝对路径名作为地址。
  • type: 指定socket类型。常用的socket类型有,SOCK_STREAM、SOCK_DGRAM、SOCK_RAW、SOCK_PACKET、SOCK_SEQPACKET等等(socket的类型有哪些?)。
  • protocol: 故名思意,就是指定协议。常用的协议有,IPPROTO_TCP、IPPTOTO_UDP、IPPROTO_SCTP、IPPROTO_TIPC等,它们分别对应TCP传输协议、UDP传输协议、STCP传输协议、TIPC传输协议(这个协议我将会单独开篇讨论!)。
    注意:并不是上面的type和protocol可以随意组合的,如SOCK_STREAM不可以跟IPPROTO_UDP组合。当protocol为0时,会自动选择type类型对应的默认协议。

当我们调用socket创建一个socket时,返回的socket描述字它存在于协议族(address family,AF_XXX)空间中,但没有一个具体的地址。如果想要给它赋值一个地址,就必须调用bind()函数,否则就当调用connect()、listen()时系统会自动随机分配一个端口。

2.2 bind

int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

正如上面所说bind()函数把一个地址族中的特定地址赋给socket。例如对应AF_INET、AF_INET6就是把一个ipv4或ipv6地址和端口号组合赋给socket。

函数的三个参数分别为:

  • sockfd:即socket描述字,它是通过socket()函数创建了,唯一标识一个socket。bind()函数就是将给这个描述字绑定一个名字。
  • addr:一个const struct sockaddr *指针,指向要绑定给sockfd的协议地址。这个地址结构根据地址创建socket时的地址协议族的不同而不同,如ipv4对应的是:
    struct sockaddr_in {
        sa_family_t    sin_family; /* address family: AF_INET */
        in_port_t      sin_port;   /* port in network byte order */
        struct in_addr sin_addr;   /* internet address */
    };
    
    /* Internet address. */
    struct in_addr {
        uint32_t       s_addr;     /* address in network byte order */
    };

    ipv6对应的是:

    struct sockaddr_in6 { 
        sa_family_t     sin6_family;   /* AF_INET6 */ 
        in_port_t       sin6_port;     /* port number */ 
        uint32_t        sin6_flowinfo; /* IPv6 flow information */ 
        struct in6_addr sin6_addr;     /* IPv6 address */ 
        uint32_t        sin6_scope_id; /* Scope ID (new in 2.4) */ 
    };
    
    struct in6_addr { 
        unsigned char   s6_addr[16];   /* IPv6 address */ 
    };

    Unix域对应的是:

    #define UNIX_PATH_MAX    108
    
    struct sockaddr_un { 
        sa_family_t sun_family;               /* AF_UNIX */ 
        char        sun_path[UNIX_PATH_MAX];  /* pathname */ 
    };

     

  • addrlen:对应的是地址的长度。

通常服务器在启动的时候都会绑定一个众所周知的地址(如ip地址+端口号),用于提供服务,客户就可以通过它来接连服务器;而客户端就不用指定,有系统自动分配一个端口号和自身的ip地址组合。这就是为什么通常服务器端在listen之前会调用bind(),而客户端就不会调用,而是在connect()时由系统随机生成一个。

/*
网络字节序与主机字节序
主机字节序就是我们平常说的大端和小端模式:不同的CPU有不同的字节序类型,这些字节序是指整数在内存中保存的顺序,这个叫做主机序。引用标准的Big-Endian和Little-Endian的定义如下:
a) Little-Endian就是低位字节排放在内存的低地址端,高位字节排放在内存的高地址端。
b) Big-Endian就是高位字节排放在内存的低地址端,低位字节排放在内存的高地址端。
网络字节序:4个字节的32 bit值以下面的次序传输:首先是0~7bit,其次8~15bit,然后16~23bit,最后是24~31bit。这种传输次序称作大端字节序。由于TCP/IP首部中所有的二进制整数在网络中传输时都要求以这种次序,因此它又称作网络字节序。字节序,顾名思义字节的顺序,就是大于一个字节类型的数据在内存中的存放顺序,一个字节的数据没有顺序的问题了。
*/

所以: 在将一个地址绑定到socket的时候,请先将主机字节序转换成为网络字节序,而不要假定主机字节序跟网络字节序一样使用的是Big-Endian。由于 这个问题曾引发过血案!公司项目代码中由于存在这个问题,导致了很多莫名其妙的问题,所以请谨记对主机字节序不要做任何假定,务必将其转化为网络字节序再 赋给socket。

2.3 listen/connect/accept

2.3.1 listen()

服务端调用listen()后,让套接字进入被动监听状态(并不是说调用listen的过程中进入这个状态,而是调用返回后一直处于这个状态),所谓被动监听,是指当没有客户端请求时,套接字处于“睡眠”状态,只有当接收到客户端请求时,套接字才会被“唤醒”来响应请求。所以,执行accept的是被动套接字,执行connect的是主动套接字

listen(fd,size),fd是socket的文件描述符,size在Linux是指全连接队列的长度,即一次最多能保存size个连接请求。

(注意listen并没有阻塞服务器,只是让服务器socket进入被动监听状态,后面调用的accept才会阻塞socket)

2.3.2 connect()

客户端调用connect()函数,向指定服务端发起连接请求。(阻塞等待连接,内核中对connect有75秒的超时限制。也可以将socket设为非阻塞模式,然后自己设置一个超时时间,再结合select方法(select监控一个fd列表,可以通过select查看指定的fd是否已就绪),就可以让我们不用阻塞等待一个socket的fd,而是可以在一个线程内创建多个socket,实现IO多路复用。参考:

IO多路复用基本概念:select,epoll(转)

https://www.cnblogs.com/gangzilife/p/9766292.html)

2.3.3 accept()

accept会阻塞服务器,直到socket监听到连接请求后,accept将连接请求加入半连接队列,3次握手后再将连接从半连接队列放到全连接队列(accept是不断循环调用的,每次循环会连接一个客户端,如果有多个连接的话则放到请求队列中再依次取出),然后给该连接分配一个fd并返回它

int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);

TCP服务器端依次调用socket()、bind()、listen()之后,就会监听指定的socket地址了。TCP客户端依次调用socket()、connect()之后就想TCP服务器发送了一个连接请求。TCP服务器监听到这个请求之后,就会调用accept()函数取接收请求,这样连接就建立好了。之后就可以开始网络I/O操作了,即类同于普通文件的读写I/O操作。

accept函数的第一个参数为服务器的socket描述字,第二个参数为指向struct sockaddr *的指针,用于返回客户端的协议地址,第三个参数为协议地址的长度。如果accpet成功,那么其返回值是由内核自动生成的一个全新的描述字,代表与返回客户的TCP连接。

注意:accept的第一个参数为服务器的socket描述字,是服务器开始调用socket()函数生成的,称为监听socket描述字;而accept函数返回的是已连接的socket描述字。一个服务器通常通常仅仅只创建一个监听socket描述字,它在该服务器的生命周期内一直存在。内核为每个由服务器进程接受的客户连接创建了一个已连接socket描述字,当服务器完成了对某个客户的服务,相应的已连接socket描述字就被关闭。

2.3.4 小结

int socket(int domain, int type, int protocol);

创建一个套接字(socket)对象,类似于普通文件的打开操作
domain:指定协议族,决定本端的IP地址类型,如AF_INET(32位的ipv4地址与16位的端口号组合)
type: 指定socket类型,如SOCK_STREAM
protocol:指定协议,如IPPROTO_TCP(TCP协议)
返回值:该socket的文件描述符fd的值

 

int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

服务器在启动的时候要绑定它的地址(ip地址+端口号),这个接口就是由服务器调用,用来把服务器地址赋给socket,例如AF_INET就是把一个ipv4和端口号组合赋给socket。
sockfd:要绑定的fd
addr:sockfd的协议地址指针(这个结构根据socket类型而不同,例如sockaddr_in *对应ipv4地址,sockaddr_in6 *对应ipv6)
addrlen:addr结构的长度

 

int listen(int fd,int backlog);

服务器调用listen()让套接字进入被动监听状态。

fd:服务器socket的fd
backlog:连接请求队列的最大长度

 

int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);

监听到连接请求后将连接请求加入半连接队列,3次握手后将连接从半连接队列放到全连接队列(accept是不断循环调用的,每次循环会连接一个客户端,如果有多个连接的话则放到请求队列中再依次取出),然后给该连接分配一个fd并返回它

sockfd:本端(服务器)socket的fd
addr:指向用来接收客户端协议地址的结构体的指针
addrlen:addr结构的长度
返回值:用于描述客户端socket的fd(完成服务后这个fd会被关闭)

 

  1. 服务器调用listen使服务器socket进入被动监听状态;
  2. 服务器阻塞调用accept,等待连接请求到来;
  3. 客户端调用connect,向服务器发送连接请求,客户端进入SYN_SEND状态并阻塞;
  4. 服务器socket监听到请求后,accept函数将客户端加入半连接队列,为客户端分配fd,并向客户端回复ack(此时服务器仍阻塞在accept,但由LISTEN进入SYN_RCVD状态);
  5. 客户端收到回复后再次回复ack,然后解除阻塞进入ESTABLISHED状态,后面可以用;
  6. 服务器收到回复后,accept函数将客户端在半连接队列中的TCB数据移动到全连接队列,然后退出accept函数并返回客户端的文件句柄fd和对方的ip端口,服务器由SYN_RCVD进入SESTABLISHED状态。

之后双方就可以调用下面的send/recv函数像读写文件那样与对方通信了

 

2.3.5 注意点

  1. 三次握手为啥是三次?
    一个完整的TCP连接需要双方都得到确认,客户端发送请求和收到确认需要两次;服务端发送请求和收到确认需要两次,当中服务回复确认和发送请求合并为一次总共需要3次;才能保证双向通道是通的。
  2. 百万连接是如何做到的?
    一个服务器的端口数是65535,为何能做到一百万的连接,主要是因为一条连接是由五元组所组成,所以一个服务器的连接数是五个成员数的乘积。例如:客户端ip:100,客户端port:100,服务端ip:10,服务端port:100,协议:tcp。总的连接数可以达到:10000000连接数。
  3. DOS攻击怎么解决?
    DOS攻击就是利用三次握手的原理,模拟客户端只向服务器发送syn包,然后耗尽被攻击对象的资源。比较多的做法是利用防火墙,做一些过滤规则。

2.4 send/recv等函数

万事具备只欠东风,至此服务器与客户已经建立好连接了。可以调用网络I/O进行读写操作了,即实现了网络中不同进程之间的通信!网络I/O操作有下面几组:

    • read()/write()
    • recv()/send()
    • readv()/writev()
    • recvmsg()/sendmsg()
    • recvfrom()/sendto()
      我推荐使用recvmsg()/sendmsg()函数,这两个函数是最通用的I/O函数,实际上可以把上面的其它函数都替换成这两个函数。它们的声明如下:
#include <unistd.h>

ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);

#include <sys/types.h>
#include <sys/socket.h>

ssize_t send(int sockfd, const void *buf, size_t len, int flags);
ssize_t recv(int sockfd, void *buf, size_t len, int flags);

ssize_t sendto(int sockfd, const void *buf, size_t len, int flags,
               const struct sockaddr *dest_addr, socklen_t addrlen);
ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags,
                 struct sockaddr *src_addr, socklen_t *addrlen);

ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags);
ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);

send和recv在连接生命周期中占用的时常最长,主要负责数据的收发。send函数负责将数据拷贝到内核,内核协议栈主要是利用TCB中的发送缓冲区进行数据缓存,然后根据内核自己的策略决定何时将数据发送。接收端数据也是先到达TCB的接收缓冲区,然后才是通过recv拷贝到用户空间。

  • recv()
    接收数据函数,此函数将数据从内核态的接收缓冲区拷贝到用户空间。

    注:一般读取发送来的数据可以通过字节流或者字符流的方式,read()也是一个阻塞函数,如果没有声明断开连接,就默认可能还要接受数据,会一直阻塞;

    一般的解决方案是设置socket的超时时间,超时就自动关闭

  • send()
    发送函数,此函数将数据从用户态拷贝到内核态的发送缓冲区,具体发送由协议控制。

2.4.1 过程分析

send和recv在连接生命周期中占用的时常最长,主要负责数据的收发。send函数负责将数据拷贝到内核,内核协议栈主要是利用TCB中的发送缓冲区进行数据缓存,然后根据内核自己的策略决定何时将数据发送。接收端数据也是先到达TCB的接收缓冲区,然后才是通过recv拷贝到用户空间。

 

2.4.2 注意事项

  1. 接收数据的黏包问题如何解决?
    一种是利用包头上添加一个数据包长度的字段,用于数据的划分;
    另一种是在包的尾部添加分隔符,用于数据的划分;
  2. 如何保证接收数据的顺序到达?
    顺序到达是由于TCP的延迟ACK的机制来保证的,TCP接收到数据并不是立即回复而是经过一个延迟时间,回复接收到连续包的最大序列号加1。如果丢包之后的包都需要重传。在弱网情况下这里就会有实时性问题和带宽占用的问题;
  3. UDP优势?
    UDP在实时性要求高的场景和弱网情况下较TCP更具有优势。目前竞技类游戏实时性要求高的行业,音视频通话及小数据量交互等场景下UDP使用得比较多。

2.5 close

#include <unistd.h>
int close(int fd);

在服务器与客户端建立连接之后,会进行一些读写操作,完成了读写操作就要关闭相应的socket描述字,好比操作完打开的文件要调用fclose关闭打开的文件。

close一个TCP socket的缺省行为时把该socket标记为以关闭,然后立即返回到调用进程。该描述字不能再由调用进程使用,也就是说不能再作为read或write的第一个参数。

注意:close操作只是使相应socket描述字的引用计数-1,只有当引用计数为0的时候,才会触发TCP客户端向服务器发送终止连接请求。

2.5.1 过程分析

close函数是最简单的一个函数,但是断开连接也是状态机也是最为复杂的。close过程涉及到四次挥手的全过程。首先是客户端调用close,内核开始进入四次挥手阶段,首先是发送fin包,自己先进入fin_wait_1状态,然后对方回复ack,进入close_wait状态;这时主动方进入fin_wait_2阶段,等待对方发送fin信息,被动方发送fin后自己进入last_ack状态,主动方发送ack进入time_wait状态。整个过程比较复杂。

  1. 正常情况下一方调用close情况如下图:

     2.当双方同时调用close,如下图:

2.5.2 注意事项

  1. Fin_wait_1作用?
    等待对方回复,超时自动重发fin。
  2. Fin_wait_2作用?
    等待对方业务逻辑处理后,发送fin包。这里有可能出现死等待的情况服务器如果出现大量的Fin_wait_2可能需要考虑是不是没有close,或者close之前做了耗时操作。
  3. time_wait 作用?
    防止最后一个ACK没有顺利到达对方,超时重新发送ack。time_wait时常一般是120s可以修改。
  4. 服务器掉线重启出现端口被占用怎么办?
    其实主要是由于还处于time_wait状态,端口并没有真正释放。这时候可以设置SO_REUSEADDR属性,保证掉线能马上重连。

3 总结

 

 

 

示例

服务端代码

#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<errno.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<netinet/in.h>

#define MAXLINE 4096
int main(int argc, char** argv) { int listenfd, connfd; struct sockaddr_in servaddr; char buff[4096]; int n; if( (listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1 ){ printf("create socket error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_addr.s_addr = htonl(INADDR_ANY); servaddr.sin_port = htons(6666); if( bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) == -1){ printf("bind socket error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } if( listen(listenfd, 10) == -1){ printf("listen socket error: %s(errno: %d)\n",strerror(errno),errno); exit(0); } printf("======waiting for client's request======\n"); while(1){ if( (connfd = accept(listenfd, (struct sockaddr*)NULL, NULL)) == -1){ printf("accept socket error: %s(errno: %d)",strerror(errno),errno); continue; } n = recv(connfd, buff, MAXLINE, 0); buff[n] = '\0'; printf("recv msg from client: %s\n", buff); close(connfd); } close(listenfd); }

 

客户端代码

#include<stdio.h>
#include<stdlib.h>
#include<string.h>
#include<errno.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<netinet/in.h>

#define MAXLINE 4096

int main(int argc, char** argv)
{
    int    sockfd, n;
    char    recvline[4096], sendline[4096];
    struct sockaddr_in    servaddr;

    if( argc != 2){
    printf("usage: ./client <ipaddress>\n");
    exit(0);
    }

    if( (sockfd = socket(AF_INET, SOCK_STREAM, 0)) < 0){
    printf("create socket error: %s(errno: %d)\n", strerror(errno),errno);
    exit(0);
    }

    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(6666);
    if( inet_pton(AF_INET, argv[1], &servaddr.sin_addr) <= 0){  //IP地址转换函数,用于将点分文本的IP地址转换为二进制网络字节序的IP地址(inet_ntop 则反过来将 “二进制整数” -> “点分十进制”)
    printf("inet_pton error for %s\n",argv[1]);
    exit(0);
    }

    if( connect(sockfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) < 0){
    printf("connect error: %s(errno: %d)\n",strerror(errno),errno);
    exit(0);
    }

    printf("send msg to server: \n");
    fgets(sendline, 4096, stdin);
    if( send(sockfd, sendline, strlen(sendline), 0) < 0)
    {
    printf("send msg error: %s(errno: %d)\n", strerror(errno), errno);
    exit(0);
    }

    close(sockfd);
    exit(0);
}

 

 注意:在进行网络通信时可能需要进行字节序转换。

网络协议指定了通讯字节序:大端。只有在多字节数据处理时才需要考虑字节序,运行在同一台计算机上的进程相互通信时,一般不用考虑字节序,异构计算机之间通讯,需要转换自己的字节序为网络字节

参考:https://www.jianshu.com/p/f19dd8229897

 

另一个例子:https://blog.csdn.net/u012206617/article/details/88563741

posted @ 2023-05-20 11:54  大黑耗  阅读(229)  评论(0编辑  收藏  举报