study notes: high performance linux server programming

1：linux网络API分为：socker地址API，socker基础API，网络信息API

　　1，socker地址API：包含IP地址和端口(ip, port)。表示TCP通信的一端。

　　2，socker基础API：创建/命名/监听socker，接收/发起链接，读写数据，获取地址信息，检测带外标记和读取/设置socker选项。sys/socket.h

　　3，网络信息API：主机名和IP地址的转换，服务名和端口号的转换。netdb.h

2：socket和API的函数 和 相关知识。

　　1，函数。

1 IP地址转换函数
　　<arpa/inet.h>
　　in_addr_t inet_addr( const char* strptr );  // 格式转换：十进制字符串IP -> 网络字节序（大端）IP
　　int inet_aton( const char* cp, struct in_addr* inp );  // 格式转换：如上，但将数据保存到参数inp中
　　char* inet_ntoa( struct in_addr in );  //  格式转换：网络字节序（大端）IP -> 十进制字符串IP
　　int inet_pton( int af, const char* src, void* dst ); // 格式转换：字符串IP地址 -> 网络字节序（大端）整数IP
　　const char* inet_ntop( int af, const void* src, char* dst, socklen_t cnt );  格式转换：网络字节序（大端）整数IP -> 字符串IP地址
　　// inet_ntoa函数不可重入。
　　// inet_ntop返回目标储存单元的地址。
2 创建socket
　　<sys/types.h> <sys/socket.h>
　　int socket( int domain, int type, int protocol );
　　// 1 参数domain：使用的底层协议族。
　　// 2 参数type：指定服务类型。SOCK_STREAM(TCP) SOCK_UGRAM(UDP)
　　// 3 参数protocol：指定具体协议。一般默认为0.（前面参数已经确定了协议）
　　// 4 返回：socket文件描述符。失败-1，设置errno
3 命名socket
　　<sys/types.h> <sys/socket.h>
　　int bind( int sockfd, const struct sockaddr* my_addr, socklen_t addrlen );
　　// 1 参数addrlen：socket地址长度。
　　// 2 返回：成功0，失败-1，设置errno
4 监听socket
　　<sys/socket.h>
　　int listen( int sockfd, int backlog );
　　// 1 参数sockfd：指定被监听socket
　　// 2 参数backlog：监听队列最大长度。典型值：5
5 接收链接。
　　<sys/types.h> <sys/socket.h>
　　int accept( int sockfd, struct sockaddr* addr, socklen_t* addrlen );
　　// 1 参数sockfd：执行过listen的socket。
　　// 2 参数addr：被接受链接的远程socket地址。
　　// 3 参数addrlen：地址长度。
　　// 4 返回：成功新的链接socket，失败-1设置errno
　　// 5 accept只从监听队列取出连接，并不检测网络状态。
6 发起链接
　　<sys/types.h> <sys/socket.h>
　　int connect( int sockfd, const struct sockaddr *serv_addr, socklen_t addrlen );
　　// 1 参数sockfd：由socket系统调用返回一个socket
　　// 2 参数serv_addr：服务器监听的socket地址。
　　// 3 返回：成功0，失败-1设置errno
7 关闭连接
　　<unistd.h>
　　int close( int fd );
　　// 1 不会立即关闭，只是将引用减一。只有引用为0时才会真正关闭。
　　<sys/socket.h>
　　int shutdown( int sockfd, int howto );
　　// 1 立即关闭连接。
　　// 2 参数howto：决定函数的行为。SHUT_RD/WR/RDWR：可以分别控制读写关闭。
　　// 3 返回：成功0，失败-1设errno
8 TCP数据读写。
　　<sys/types.h> <sys/socket.h>
　　ssize_t recv( int sockfd, void* buf, size_t len, int flags );  // 返回：实际读取到的数据长度。失败-1errno
　　ssize_t send( int sockfd, const void* buf, size_t len, int flags );  // 返回：实际写入的数据长度。失败-1reeno
　　// 1 参数buf,len：缓冲区的地址和大小。
　　// 2 参数flags：数据收发额外控制。通常设0.
9 UDP数据读写。
　　<sys/types.h> <sys/socket.h>
　　ssize_t recvfrom( int sockfd, void* buf, size_t len, int flags, struct sockaddr* src_addr, socklen_t *addrlen );
　　ssize_t sendto( int sockfd, const void* buf, size_t len, int flags, const struct sockaddr* dest_addr, socklen_t *addrlen );
　　// 1 参数src/dest_addr：确定发送/接收端地址。（因UDP没有连接概念）
　　// 2 这两个函数同样可以应用于TCP读写数据。
10 通用数据读写函数。
　　<sys/socket.h>
　　ssize_t recvmsg( int sockfd, struct msghdr* msg, int flags );
　　ssize_t sendmsg( int sockfd, struct msghdr* msg, int flags );
　　struct msghdr{
　　　　void* msg_name;             // socket 地址
　　　　socklen_t msg_namelen;　　　 // 地址长度
　　　　struct iovec* msg_iov;      // 分散的内存块
　　　　int msg_iovlen;             // 分散内存块的数量
　　　　void* msg_control;　　　　　　// 辅助数据地址
　　　　socklen_t msg_controllen;   // 辅助数据大小
　　　　int msg_flags;              // 保存函数flag参数
　　}
11 确定下一个数据是否时带外数据。
　　<sys/socket.h>
　　int sockatmark( int sockfd );  // 返回：带外1，否则0
12 获取地址信息。
　　<sys/socket.h>
　　int getsockname( int sockfd, struct sockaddr* address, socklen_t* address_len );  // 本端
　　int getpeername( int sockfd, struct sockaddr* address, socklen_t* address_len );  // 远端
　　// 1 返回：成功0，失败-1errno
13 获取/设置socket选项
　　<sys/socket.h>
　　int getsockopt( int sockfd, int level, int option_name, void* option_value, socklen_t* restrict option_len );
　　int setsockopt( int sockfd, int level, int option_name, const void* option_value, socklen_t* restrict option_len );
　　// 1 参数level：具体协议选项。
　　// 2 返回：成功0，失败-1errno。

// 此后为网络信息API
14 获取主机完整信息。
　　<netdb.h>
　　struct hostent* gethostbyname( const char* name );  // 通过主机名称获取
　　struct hostent* gethostbyaddr( const void* addr, size_t len, int type );  //通过IP地址获取
　　// 1 参数type：IP地址的类型。
　　// 2 返回：主机信息。
15 获取服务的完整信息。
　　<netdb.h> 
　　struct servent* getservbyname( const char* name, const char* proto );  // 通过名字获取
　　struct servent* getservbyport( int port, const char* proto );  // 通过端口号获取
　　// 1 参数proto：确定服务类型：UDP/TCP
16 获取主机和服务的综合函数。
　　int getaddrinfo( const char* hostname, const char* service, const struct addrinfo* hints, struct addrinfo** result );
　　int getnameinfo( const struct sockaddr* sockaddr, socklen_t addrlen, char* host, socklen_t hostlen, char* serv, socklen_t servlen, int flags );

 

 　　2，88-94在完成初版IM时，需要进行测试。

3：高级IO（高编已由函数省略）

　　1，函数

1 两个文件描述符之间直接传递数据
　　ssize_t sendfile( int out_fd, int in_fd, off_t* offset, size_t count );
　　// 1 参数count：传输字节数
　　// 2 返回：成功返回传输字节数，失败-1errno
　　// 3 in_fd:必须时真实文件，out_fd:必须是socket
2 两个文件描述符之间移动数据。零copy操作
　　ssize_t splice( int fd_in, loff_t* off_in, int fd_out, loff_t* off_out, size_t len, unsigned int flags );  // 具体需要再了解和使用。
3 两个管道文件描述符之间复制数据。零copy操作
　　ssize_t tee( int fd_in, int fd_out, size_t len, unsigned int flags );

 

4：linux服务程序规范。

　　1，函数。

1 和日志进程通信。
　　<syslog.h>
　　void syslog( int priority, const char* message );
　　// 1 参数priority：设置值与日志级别按位与。
2 设置日志进程的输出方式。
　　void openlog( const char* ident, int logopt, int facility );
　　// 1 参数ident：添加到日志消息的日期和时间之后。
　　// 2 参数facility：用来修改syslog函数中的默认值。
3 设置日志进程的掩码。（设置屏蔽信息）
　　int setlogmask( int maskpri );
4 关闭日志功能。
　　void closelog();
5 使进程称为后台进程：
　　<unistd.h>
　　int daemon( int nochdir, int noclose );
　　// 1 参数nochdir：传0，则工作目录为根目录/。否则不变。
　　// 2 参数noclose：传0，则被重定向为/dev/null。
　　// 3 返回：成功0，失败-1errno。

 

　　2，基本规范。

　　　　1）一般以后台进程形式运行。后台进程又称为守护进程。

　　　　2）通常有一套日志系统。至少能输出日志到文件。

　　　　3）一般以某个专门的非root身份运行。

　　　　4）通常时可配置的。

　　　　5）启动时，会生成一个PID文件并存入/var/run目录中。

　　　　6）通常需要考虑系统资源和限制。

　　3，日志进程：rsyslogd。

　　　　1）能够接收 用户/内核 的日志。

　　4，ps命令可查看进程、进程组和会话之间的关系。

5：高性能服务器框架。

　　1，函数。

　　2，零散细节。

　　　　1）客户连接请求时随即到达的异步事件，服务器需要使用某种IO模型来监听。

　　　　2）服务器可以解构成三个主要模块：IO处理单元，逻辑单元，储存单元。

　　　　3）服务器基本模块的功能描述。

模块	单个服务器程序	服务器机群
IO处理单元	处理客户连接，读写网络数据	作为接入服务器，实现负载均衡
逻辑单元	业务进程或线程	逻辑服务器
网络储存单元	本地数据库、文件或缓存。	数据库服务器
请求队列	各单元之间的通信方式。	各服务器之间的永久TCP连接

　　　　4）IO服用函数本身时阻塞的，它们能提高程序效率的原因：它们具有同时监听多个IO事件的能力。

　　　　5）同步IO向应用程序通知的是IO就绪事件，异步IO向应用程序通知的是IO完成事件。

　　　　6）服务器程序通常需要处理三类事件：IO事件，信号和定时事件。

　　　　7）如果程序是计算密集型， 并发没有任何优势。但如果是IO密集型，并发就会有意义。因为IO速度比CPU缓慢。

　　　　8）并发模式中，同步指程序完全按照代码序列顺序执行（用于处理客户逻辑），异步指程序执行需要由系统事件来驱动（用于处理IO）。

　　　　9）主线程向工作线程发送scoket最简单的方式：往管道中写数据。

　　　　10）池是一组资源的集合。这组资源在服务器启动之初就被完全创建好并初始化。常见的有：内存池，线程池，进程池和连接池。

　　　　11）高性能服务器应该避免不必要的数据复制。（避免数据复制，共享内存是最块的方式，但不一定是最好的。）

　　　　12）并发程序必须考虑上下文切换的开销。

　　　　13）尽量减少锁的开销。

　　3，P2P模式：peer to peer。

　　　　1）P2P模式时，主机之间很难相互发现。

　　4，reactoer模式。

　　　　1）它要求主线程（IO处理单元）只负责监听文件描述符是否有事件发生，有的话就立即将该事件通知工作线程（逻辑单元）。

　　　　2）特点：主线程只确定有请求，工作线程针对具体事件类型针对处理。

　　5，proactor模式：它将所有IO操作都交给主线程和内核来处理。工作线程仅仅负责业务逻辑。。

　　6，半同步/半反应堆模式：主线程用来监听IO，并发送请求到请求队列。然后工作线程竞争抢夺处理权限。

　　　　1）主线程和工作线程共享请求队列。需要锁来保证读写，消耗CPU

　　　　2）每个工作线程同一时间只能处理一个客户请求。

　　7，leader/follewer模式：leader监听scoket。当有新请求时，leader去处理请求，并从follower中推选新leader。

　　　　1）需要包含几个组件：句柄集，线程集，事件处理器，具体事件处理器。

6：IO复用

　　1，函数。

1 epoll系列:linux特有的IO复用函数。
　　<sys/epoll.h>
　　int epoll_create( int size );   // 创建一个描述符（标识事件表）
　　int epoll_ctl( int epfd, int op, int fd, struct epoll_event *event );  // 对 事件表 进行操作（添加，修改，删除注册事件）。
　　int epoll_wait( int epfd, struct epoll_event* events, int maxevents, int timeout );  // 等待事件。
2 

 

　　2，零散细节。

　　　　1）IO复用虽然能同时监听多个文件描述符，但它本身是阻塞的。

　　　　2）epoll系列有两种模式：LT和ET。ET是相对高效的模式。

　　　　3）ET模式的文件描述符都应该是非阻塞的。（如果是阻塞的，可能会一直阻塞下去）

　　　　4）EPOLLONESHOT事件：使事件只能触发一次。若需要再次触发，需要重置。可以防止重复读写。

　　3，select，poll，epoll的区别

系统调用	select	poll	epoll
事件集合	用户通过三个参数分别传入可读，可写和异常事件。内核通过这些参数在线修改就绪事件。每次调用都会重读	统一处理所有事件类型。需要一个事件集。用户通过pollfd.event传入事件。内核通过修改pollfd.event反馈就绪事件。	内核通过事件表直接管理所有事件。无需反复传入事件。epoll_wait仅用来反馈就绪事件（不需要多余判断）
应用程序索引就绪文件描述符的时间复杂度	n	n	1
最大支持文件描述符数	一般有最大值限制	65535	65535
工作模式	LT	LT	LT/ET
内核实现和工作效率	轮询方式检测就绪事件	轮询	回调方式检测就绪事件。

 

7：信号。

　　1，函数

　　2，零散细节。

　　　　1）服务器程序必须处理（至少能忽略）一些常见信号。以避免异常终止。

　　　　2）信号是一种异步事件：信号处理函数和程序的主循环是两条不同的执行路线。所以信号需要尽快完成。典型的解决方案：信号仅提供信号，具体处理尽量方在主循环中。

8：时间堆：将所有定时器超时时间最小的一个定时器的超时值作为心搏间隔。

9：高性能IO框架库。

　　1，常见框架：ACE，ASIO，Libevent。

　　2，linux服务器程序必须处理三类事件：IO，信号和定时事件。但需要考虑三个问题

　　　　1）统一事件源。需要统一管理三类事件。一般方法为：利用IO复用系统调用来管理所有事件。

　　　　2）可移植性。

　　　　3）对并发编程的支持。

　　3，IO框架库以库函数的形式，封装了较为底层的系统调用，给应用程序提供了一组更便于使用的接口。

　　4，Libevent框架库。

　　　　1）跨平台支持，拥有统一事件源，线程安全，基于Reactor模式。

　　　　2）官方网站：libevent.org

　　5，P240，需要执行代码确认。

10：多线程编程。

　　1，线程实现方式：完全在用户空间实现，完全由内核调度和双层调度。

　　　　1）完全在用户空间实现优点：创建和调度线程无需内核的干预，速度很快。创建多各线程对系统性能没有太大影响。但无法在多CPU情况下使用。

　　　　2）内核调度：和用户空间完全相反。

　　　　3）双层调度：上两种模式的混合体。

11：进程池和线程池。

　　1，线程池中的线程数量应该和CPU数差不多。

　　2，进程之间（有关联进程）传递数据最简单的方法是管道。

12：服务器调制，调试和测试。

　　1，linux平台的一个优秀特性是内核微调：可以通过修改文件的方式来调正内核参数。

　　2，调试方法：tcpdump抓包看数据，或者gdb。

　　3，linux对应用程序能打开的最大文件描述符数量有两个层次的限制：用户级限制和系统级限制。

　　4，gdb调试多进程的两个简单方法：

　　　　1）找到PID，然后使用attach添加到gdb中。

　　　　2）set follow-fork mode（parent or child）

　　5，gdb调试多线程的方法。

　　　　1）info threads：显示当前可调试的所有线程。

　　　　2）threadID：调试ID线程

　　　　3）set scheduler-locking(off|on|step)：off所有线程执行，on只有当前线程执行，step单步调试时，只有当前线程会执行。

　　6，压力测试：IO复用，多线程，多进程并发编程等方法（不懂- -）。

13：常用工具。

　　1，tcpdump：经典的网络抓包工具

　　2，lsof：列出当前系统打开的文件描述符的工具。

　　3，nc：用来快速构建网络连接。

　　　　1）服务器方式运行时：监听某个端口并接收客户端连接。

　　　　2）客户端方式运行时：可以向服务器发起连接并收发数据。

　　　　3）所以可以用来调试客户端和服务器。

　　4，strace：测试服务器性能的工具。

　　　　1）跟踪程序运行过程中执行的系统调用和接收到的信号，并将系统调用名、参数、返回值及信号名数处到标准输出或指定文件。

　　5，netstat：网络信息统计工具。

　　　　1）可以打印本地网卡接口上的全部连接、路由表信息、网卡接口信息。

　　6，ifstat：interface statistics。简单的网络流量检测工具。

　　7，mpstat：multi-processor statistics。能实时监测多处理器系统上的每个CPU的使用情况。