Linux高并发服务器开发-项目实战

阻塞和非阻塞、同步和异步

典型的一次IO的两个阶段是什么? 数据就绪 和 数据读写

1个典型的网络IO接口调用，分为两个阶段，分别是"数据就绪”和“数据读写”。

数据就绪阶段分为阻塞和非阻塞，表现得结果就是，阻塞当前线程或是直接返回。

同步表示A向B请求调用一个网络IO接口时(或者调用某个业务逻辑API接口时)，数据的读写都是由请求方A自己来完成的(不管是阻塞还是非阻塞);异步表示A向B请周用一个网络IO接口时(或者调用某个业务逻辑API接口时)，向B传入请求的事件以及事件发生时通知的万式，A就可以处理其它逻辑了，当B监听到事件处理完成后，会用事先约定好的通知方式，通知A处理结果。

IO多路复用是同步的

Unix,Linux的5种IO模型

阻塞 blocking

调用者调用了某个函数，等待这个函数返回，期间什么也不做，不停的去检查这个函数有没有返回，必须等这个函数返回才能进行下一步动作。

非阻塞 non-blocking（NIO）

非阻塞等待，每隔一段时间就去检测IO 事件是否就绪。没有就绪就可以做其他事。非阻塞I/O执行系统调用总是立即返回，不管事件是否已经发生，若事件没有发生，则返回-1，此时可以根据errno区分这两种情况，对于accept，recv和send，事件未发生时，errno通常被设置成EAGAIN。

IO复用 （IO multiplexing）

Linux 用 select/poll/epoll 函数实现 IO 复用模型，这些函数也会使进程阻塞，但是和阻塞IO所不同的是这些函数可以同时阻塞多个IO操作。而且可以同时对多个读操作、写操作的IO函数进行检测。直到有数据可读或可写时才真正调用IO操作函数。

信号驱动 （signal-driven）

Linux用套接口进行信号驱动IO,安装一个信号处理函数，进程继续运行并不阻塞，当IO事件就绪，进程收到SIGIO信号，然后处理IO事件。

内核在第一个阶段是异步，在第二个阶段是同步。与非阻塞IO的区别在于它提供了消息通知机制，不需要用户进程不断的轮询检查，减少了系统API的调用次数，提高了效率。

异步 （asynchronous）

Linux中，可以调用aio_read()函数告诉内核描述字缓冲区指针和缓冲区的大小、文件偏移及通知的方式，然后立即返回，当内核将数据拷贝到缓冲区后，再通知应用程序。

Web Server (网页服务器)

一个 Web Server 就是一个服务器软件(程序)，或者是运行这个服务器软件的硬件(计算机)。其主要功能是通过 HTTP 协议与客户端(通常是浏览器(Browser) ) 进行通信，来接收，存储，处理来自客户端的 HTTP 请求并对其请求做出HTTP响应，返回给客户端其请求的内容(文件、网页等)或返回一个Error 信息。

通常用户使用 Web 浏览器与相应服务器进行通信。在浏览器中键入"域名”或“IP地址·端口号”，浏览器则先将你的域名解析成相应的 IP 地址或者直接根据你的IP地址向对应的了 Web 服务发送一个HTTP 请求。这一过程首先要通过TCP 协议的三次握手建立与目标 Web 服务器的连接，然后 HTTP 协议生成针对目标 Web 服务器的 HTTP 请求报文，通过 TCP、IP 等协议发送到目标 Web 服务器上。

HTTP协议（应用层）

超文本传输协议(Hypertext Transfer Protocol，HTTP) 是一个简单的请求-响应协议，它通常运行在TCP之它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应，请求和响应消息的头以 ASCII 形式给出; 而消息内容则具有一个类似 MIME 的格式。HTTP是万维网的数据通信的基础。

工作原理

HTTP 协议定义 Web 客户端如何从 Web 服务器请求 Web 页面，以及服务器如何把 Web 页面传送给客户端。HTTP 协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。

1.客户端连接到 Web 服务器
一个HTTP客户端，通常是浏览器，与 Web 服务器的 HTTP 端口(默认为 80)建立一个 TCP套接字连接。例如，http://www.baidu.com。(URL)

2.发送 HTTP 请求
通过TCP 套接字，客户端向 Web 服务器发送一个文本的请求报文，一个请求报文由请求行、请求头部、空行和请求数据 4 部分组成。

3.服务器接受请求并返回HTTP响应
Web 服务器解析请求，定位请求资源。服务器将资源复本写到TCP 套接字，由客户端读取。一个响应由状态行、响应头部、空行和响应数据 4 部分组成。

4.释放连接TCP 连接
若 connection 模式为 close，则服务器主动关闭 TCP连接，客户端被动关闭连接，释放 TCP 连接; 
若connection 模式为 keepalive，则该连接会保持一段时间，在该时间内可以继续接收请求:

5.客户端浏览器解析 HTML 内容
客户端浏览器首先解析状态行，查看表明请求是否成功的状态代码。然后解析每一个响应头，响应头告知以下为若工字节的 HTML 文档和文档的字符集。客户端浏览器读取响应数据 HTML，根据 HTML 的语法对其进行格式化，并在浏览器窗口中显示。

例如: 在浏览器地址栏键入URL，按下回车之后会经历以下流程:

1. 浏览器向 DNS 服务器请求解析该 URL 中的域名所对应的 IP 地址
2. 解析出 IP 地址后，根据该IP 地址和默认端口 80，和服务器建立 TCP 连接
3. 浏览器发出读取文件(URL 中域名后面部分对应的文件)的HTTP 请求，该请求报文作为 TCP 三次握手的第三个报文的数据发送给服务器
4. 服务器对浏览器请求作出响应，并把对应的 HTML 文本发送给浏览器:
5. 释放 TCP 连接;
6. 浏览器将该 HTML 文本并显示内容

HTTP 协议是基于 TCP/IP 协议之上的应用协议，基于请求-响应 的模式。HTTP 协议规定，请求从客户端发出，最后服务器端响应该请求并返回。换句话说，肯定是先从客户端开始建立通信的，服务器端在没有接收到请求之前不会发送响应。

HTTP请求和响应报文

服务器编程基本框架

虽然服务器程序种类繁多，但其基本框架都一样，不同之处在于逻辑处理


I/O 处理单元是服务器管理客户连接的模块。它通常要完成以下工作: 等待并接受新的客户连接， 接收客户数据，将服务器响应数据返回给客户端。但是数据的收发不一定在 I/O 处理单元中执行，也可能在逻辑单元中执行，具体在何处执行取决于事件处理模式。

一个逻辑单元通常是一个进程或线程。它分析并处理客户数据，然后将结果传递给 I/O 处理单元或者直接发送给客户端(具体使用哪种方式取决于事件处理模式)。服务器通常拥有多个逻辑单元，以实现对多个客户任务的并发处理。

网络存储单元可以是数据库、缓存和文件。

请求队列是各单元之间的通信方式的抽象。I/O 处理单元接收到客户请求时，需要以某种方式通知一个逻辑单元来处理该请求。同样，多个逻辑单元同时访问一个存储单元时，也需要采用某种机制来协调处理竞态条件。请求队列通常被实现为池的一部分。

Reactor 和 Proactor 事件处理模式

服务器程序通常需要处理三类事件: I/O 事件、信号以及定时事件。有两种高效的事件处理模式: Reactor 和Proactor，同步I/O 模型通常用于实现 Reactor 模式，异步I/O 模型通常用于实现 Proactor 模式。

Reactor模式

要求主线程(IO处理单元)只负责监听文件描述符上是否有事件发生，有的话就立即将该事件通知工作线程(逻辑单元)，将 socket 可读可写事件放入请求队列，交给工作线程处理。除此之外，主线程不做任何其他实质性的工作。读写数据，接受新的连接，以及处理客户请求均在工作线程中完成。

使用同步 I/O (以epoll_wait 为例)实现 Reactor 模式的工作流程是:

1. 主线程往epoll 内核事件表中注册 socket 上的读就绪事件。
2. 主线程调用 epoll_wait 等待 socket 上有数据可读。
3. 当socket 上有数据可读时，epoll_wait 通知主线程，主线程则将 socket 可读事件放入请求队列。
4. 睡眠在请求队列上的某个工作线程被唤醒，它从 socket 读取数据，并处理客户请求，然后往 epoll 内核事件表中注册该 socket 上的写就绪事件。
5. 当主线程调用 epoll_wait 等待 socket 可写
6. 当socket 可写时，epoll wait 通知主线程,主线程将 socket 可写事件放入请求队列。
7. 睡眠在请求队列上的某个工作线程被唤醒，它往 socket 上写入服务器处理客户请求的结果
   

Proactor模式

Proactor 模式将所有 I/O 操作都交给主线程和内核来处理(进行读、写)，工作线程仅仅负责业务逻辑。

使用异步I/O模型(以aio_read 和 aio_write 为例)实现的Proactor 模式的工作流程是:

1. 主线程调用 aio_read 函数向内核注册 socket上的读完成事件，并告诉内核用户读缓冲区的位置，以及读操作完成时如何通知应用程序 (这里以信号为例)。
2. 主线程继续处理其他逻辑。
3. 当 socket 上的数据被读入用户缓冲区后，内核将向应用程序发送一个信号，以通知应用程序数据已经可用。
4. 应用程序预先定义好的信号处理函数选择一个工作线程来处理客户请求。工作线程处理完客户请求后，调用aio_write 函数向内核注册 socket 上的写完成事件，并告诉内核用户写缓冲区的位置，以及写操作完成时如何通知应用程序。
5. 主线程继续处理其他逻辑
6. 当用户缓冲区的数据被写入 socket 之后，内核将向应用程序发送一个信号，以通知应用程序数据已经发送完比
   应用程序预先定义好的信号处理函数选择一个工作线程来做善后处理，比如决定是否关闭 socket。
   

模拟Proactor

使用同步 I/O 方式模拟出 Proactor 模式。原理是: 主线程执行数据读写操作，读写完成之后，主线程向工作线程通知这一"完成事件"。那么从工作线程的角度来看了它们就直接获得了数据读写的结果，接下来要做的只是对读写的结果进行逻辑处理。

使用同步 I/O 模型(以epoll_wait为例) 模拟出的 Proactor 模式的工作流程如下:

1. 主线程往epoll 内核事件表中注册 scket 上的读就绪事件
2. 主线程调用 epoll_wait 等待 socket 上有数据可读
3. 当 socket 上有数据可读时, epoll_wait 通知主线程。主线程从 socket 循环读取数据，直到没有更多数据可读，然后将读取到的数据封装成一个请求对象并插入请求队列。
4. 睡眠在请求队列上的某个工作线程被唤醒，它获得请求对象并处理客户请求，然后往 epoll 内核事件表中注册socket 上的写就绪事件,
5. 主线程调用 epoll wait 等待 socket 可写
6. 当socket 可写时，epoll_wait 通知主线程。主线程往 socket 上写入服务器处理客户请求的结果。

线程池

线程池是由服务器预先创建的一组子线程，线程池中的线程数量应该和 CPU 数量差不多。线程池中的所有子线程都运行看相同的代码。当有新的任务到来时，主线程将通过某种方式选择线程池中的某一个子线程来为之服务。相比与动态的创建子线程，选择一个已经存在的子线程的代价显然要小得多。至于主线程选择哪个子线程来为新任务服务，则有多种方式:

1. 主线程使用某种算法来主动选择子线程。最简单、最常用的算法是随机算法和 Round Robin (轮流选取)算法，但更优秀、更智能的算法将使任务在各个工作线程中更均匀地分配，从而减轻服务器的整体压力.
2. 主线程和所有子线程通过一个共享的工作队列来同步，子线程都睡眠在该工作队列上。当有新的任务到来时主线程将任务添加到工作队列中。这将唤醒正在等待任务的子线程，不过只有一个子线程将获得新任务的”接管权”，它可以从工作队列中取出任务并执行之，而其他子线程将继续睡眠在工作队列上。

1. 空间换时间 ，浪费服务器的硬件资源，换取运行效率。
2. 池是一组资源的集合，这组资源在服务器启动之初就被完全创建好并初始化，这称为静态资源。.
3. 当服务器进入正式运行阶段，开始处理客户请求的时候，如果它需要相关的资源，可以直接从池中获取，无需动态分配。
4. 当服务器处理完一个客户连接后，可以把相关的资源放回池中，无需执行系统调用释放资源

locker.h
封装互斥锁，条件变量，信号量类
threadpool.h
封装线程池类

EPOLLONESHOT事件

即使可以使用 ET 模式，一个socket上的某个事件还是可能被触发多次。这在并发程序中就会引起一个问题。比如1个线程在读取完某个 socket 上的数据后开始处理这些数据，而在数据的处理过程中该 socket 上又有新数据可读(EPOLLIN 再次被触发)，此时另外一个线程被唤醒来读取这些新的数据。于是就出现了两个线程同时操作一个socket 的局面。一个socket连接在任一时刻都只被一个线程处理，可以使用 epoll 的 EPOLLONESHOT 事件实现。

对于注册了 EPOLLONESHOT 事件的文件描述符，操作系统最多触发其上注册的一个可读、可写或者异常事件且只触发一次，除非我们使用 epoll_ctl 函数重置该文件描述符上注册的EPOLLONESHOT 事件。

这样，当一个线程在处理某个 socket 时，其他线程是不可能有机会操作该 socket 的。但反过来思考，注册了EPOLLONESHOT事件的 socket 一旦被某个线程处理完毕，该线程就应该立即重置这个 socket 上的 EPOLLONESHOT 事件，以确保这个 socket 下一次可读时，其 EPOLLIN 事件能被发，进而让其他工作线程有机会继续处理这个 socket。

有限状态机

逻辑单元内部的一种高效编程方法: 有限状态机 (finite state machine)。
有的应用层协议头部包含数据包类型字段，每种类型可以映射为逻辑单元的一种执行状态，服务器可以根据它来编写相应的处理逻辑。
状态机的每个状态可能都是相互独立的，即状态之间没有相互转移。状态之间的转移是需要状态机内部驱动。