第十一章 网络编程

概述

知识点梳理

1.客户端-服务器编程模型

- 一个服务器进程 -> 管理某种资源 -> 通过操作这种资源来为它的客户端提供某种服务
- 一个或多个客户端进程

基本操作：事务

- 当一个客户端需要服务时，向服务器发送一个请求，发起一个事务。
- 服务器收到请求后，解释它，并以适当的方式操作它的资源。
- 服务器给客户端发送一个相应，并等待下一个请求。
- 客户端收到响应并处理它。

*客户端和服务器都是进程。

2.网络

（1）对主机而言：网络是一种I/O设备

从网络上接收到的数据从适配器经过I/O和存储器总线拷贝到存储器，典型地是通过DMA（直接存储器存取方式）传送。

（2）物理上：网络是一个按照地理远近组成的层次系统

最底层：LAN（局域网），最流行的是以太网，

  • 以太网段

    • 包括一些电缆和集线器。每根电缆都有相同的最大位带宽，集线器不加分辩地将一个端口上收到的每个位复制到其他所有的端口上，因此每台主机都能看到每个位。
    • 每个以太网适配器都有一个全球唯一的48位地址，存储在适配器的非易失性存储器上。
    • 一台主机可以发送一段位：帧，到这个网段内其它任何主机。每个帧包括一些固定数量的头部位（标识此帧的源和目的地址及帧长）和数据位（有效载荷）。每个主机都能看到这个帧，但是只有目的主机能读取。
    • 使用电缆和网桥，多个以太网段可以连接成较大的局域网，称为桥接以太网。这些电缆的带宽可以是不同的。
    • 多个不兼容的局域网可以通过叫做路由器的特殊计算机连接起来，组成一个internet互联网络。

（3）协议

  • 互联网重要特性：由采用不同技术，互不兼容的局域网和广域网组成，并能使其相互通信。其中不同网络相互通信的解决办法是一层运行在每台主机和路由器上的协议软件，消除不同网络的差异。

  • 协议提供的两种基本能力

    • 命名机制：唯一的标示一台主机
    • 传送机制：定义一种把数据位捆扎成不连续的片的同一方式

（4）全球IP因特网

  • TCP/IP协议族
  • 混合使用套接字接口函数和UnixI/O函数进行通信

  • 世界范围的主机集合

    特性：
- 主机集合被映射为一组32位的IP地址
- 这组IP地址被映射为一组称为因特网域名的标识符
- 因特网主机上的进程能够通过连接和任何其他主机上的进程
检索并打印一个DNS主机条目：
#include "csapp.h"
int main(int argc, char **argv) 
{
    char **pp;
    struct in_addr addr;
    struct hostent *hostp;
    if (argc != 2) {
    fprintf(stderr, "usage: %s <domain name or dotted-decimal>\n", 
        argv[0]);
    exit(0);
    }
    if (inet_aton(argv[1], &addr) != 0) 
    hostp = Gethostbyaddr((const char *)&addr, sizeof(addr), AF_INET); 
    else                                
    hostp = Gethostbyname(argv[1]);
    printf("official hostname: %s\n", hostp->h_name);
    for (pp = hostp->h_aliases; *pp != NULL; pp++)
    printf("alias: %s\n", *pp);
    for (pp = hostp->h_addr_list; *pp != NULL; pp++) {
    addr.s_addr = ((struct in_addr *)*pp)->s_addr;
    printf("address: %s\n", inet_ntoa(addr));
    }
    exit(0);
}

3.套接字

（1）函数

  • socket函数
  • connect函数
  • open_clientfd函数
  • bind函数
  • listen函数
  • open_listenfd函数
  • accept函数

（2）echo客户端和服务器示例

4.Web服务器

（1）协议

Web 客户端和服务器之间的交互用的是一个基于文本的应用级协议，叫做 HTTP (Hypertext Transfer Protocol，超文本传输协议). HTTP 是一个简单的协议。一个 Web 客户端(即浏览器) 打开一个到服务器的因特网连接，并且请求某些内容。服务器响应所请求的内容，然后关闭连接。浏览器读取这些内容，并把它显示在屏幕上。

（2）内容

Web内容可以用一种叫做 HTML(Hypertext Markup Language，超文本标记语言)的语言来编写。一个 HTML 程序(页)包含指令(标记)，它们告诉浏览器如何显示这页中的各种文本和图形对象。

Web 服务器以两种不同的方式向客户端提供内容：

取一个磁盘文件，并将它的内容返回给客户端。磁盘文件称为静态内容 (static content), 而返回文件给客户端的过程称为服务静态内容 (serving static content)。 运行一个可执行文件，并将它的输出返回给客户端。运行时可执行文件产生的输出称为态内容 (dynamic content)，而运行程序并返回它的输出到客户端的过程称为服务动态内容 (serving dynamic content)。

第十二章 并发编程

学习目标： 1.掌握三种并发的方式：进程、线程、I/O多路复用 2.掌握线程控制及相关系统调用 3.掌握线程同步互斥及相关系统调用

知识点梳理

1.并发概述

  • 逻辑控制流在时间上重叠，那么它们就是并发的。

  • 并发(concurrency ) ，出现在计算机系统的许多不同层面上。

  • 应用级并发

    • 访问慢速I/O设备。当一个应用正在等待来自慢速 I/O 设备(例如磁盘)的数据到达时， 内核会运行其他进程，使 CPU保持繁忙。每个应用都可以按照类似的方式，通过交替执行 I/O 请求和其他有用的工作来使用并发。
    • 与人交互。和计算机交互的人要求计算机有同时执行多个任务的能力。例如，他们在打印一个文档时，可能想要调整一个窗口的大小。现代视窗系统利用并发来提供这种能力。每次用户请求某种操作(比如通过单击鼠标)时，一个独立的并发逻辑流被创建来执行这个操作。
    • 通过推迟工作以降低延迟。有时，应用程序能够通过推迟其他操作和并发地执行它们，利用并发来降低某些操作的延迟。比如，一个动态存储分配器可以通过推迟合并，把它放到一个运行在较低优先级上的并发"合并"流中，在有空闲的 CPU 周期时充分利用这些空闲 周期，从而降低单个 free 操作的延迟。
    • 服务多个网络客户端。
    • 在多核机器上进行并行计算。许多现代系统都配备有多核处理器，多核处理器中包含多个 CPU。被划分成并发流的应用程序通常在多核机器上比在单处理器机器上运行得快，因为这些流会并行执行，而不是交错执行。

  • 使用应用级并发的应用程序称为并发程序。现代操作系统提供了三种基本的构造并发程序的方法：

    • 进程。每个逻辑控制流都是一个进程，由内核来调度和维护。因为进程 有独立的虚拟地址空间，想要和其他流通信，控制流必须使用某种显式的进程间通信（IPC）机制。
    • I/O 多路复用。在这种形式的并发编程中，应用程序在一个进程的上下文中显式地调度它们自己的逻辑流。逻辑流被模型化为状态机，数据到达文件描述符后，主程序显式地从一个状态转换到另一个状态。因为程序是一个单独的进程，所以所有的流都共享同一个地址空间。
    • 线程。线程是运行在一个单一进程上下文中的逻辑流，由内核进行调度。是其他两种方式的混合体，像进程流一样由内核进行调度，而像I/O 多路复用流一样共享同一个虚拟地址空间。

2.基于进程的并发编程

  • 构造并发程序最简单的方法就是用进程。

一个构造并发服务器的自然方法就是，在父进程中接受客户端连接请求，然后创建一个新的子进程来为每个新客户端提供服务。

  • 基于进程的并发服务器

通常服务器会运行很长的时间，所以我们必须要包括一个 SIGCHLD 处理程序，来回收僵死 (zombie) 子进程的资源。因为当 SIGCHLD 处理程序执行时， SIGCHLD 信号是阻塞的，而 Unix 信号是不排队的，所以 SIGCHLD 处理程序必须准备好回收多个僵死子进程的资源。

父子进程必须关闭它们各自的 connfd 拷贝。这对父进程而言尤为重要，它必须关闭它的已连接描述 符，以避免存储器泄漏。

因为套接字的文件表表项中的引用计数，直到父子进程的 connfd 都关闭了，到客户端的连接才会终止。

第一步:服务器接受客户端的连接请求
第二步:服务器派生一个子进程为这个客户端服务
第三步：服务器接受另一个连接请求
第四步：服务器派生另一个子进程为新的客户端服务
  • 进程的优劣

在父、子进程间共享状态信息，进程有一个非常清晰的模型：共享文件表，但是不共享用户地址空间。

进程有独立的地址空间既是优点也是缺点。 优点：一个进程不可能不小心覆盖另一个进程的虚拟存储器，这就消除了许多令人迷惑的错误。 缺点：独立的地址空间使得进程共享状态信息变得更加困难。为了共享信息，它们必须使用显式的IPC(进程间通信)机制。基于进程的设计的另一个缺点是，它们往往比较慢，因为进程控制和 IPC 的开销很高。

3.基于 I/O 多路复用的并发编程

I/O 多路复用(I/O multiplexing) 技术。基本的思路就是使用 select 函数，要求内核挂起进程，只有在一个或多个I/O事件发生后，才将控制返回给应用程序。

（1）基于 I/O 多路复用的并发事件驱动服务器

I/O 多路复用可以用做并发事件驱动 (event-driven) 程序的基础，在事件驱动程序中，流是因为某种事件而前进的。

将逻辑流模型化为状态机。不严格地说，一个状态机 (state machine) 就是一组状态 (state)、输入事件(input event) 和转移他(transition)，其中转移就是将状态和输入事件映射到状态。每个转移都将一个(输入状态，输入事件)对映射到一个输出状态。自循环(self-loop) 是同一输入和输出状态之间的转移。节 点表示状态，有向弧表示转移，而弧上的标号表示输入事件。一个状态机从某种初始状态开始执行。每个输入事件都会引发一个从当前状态到下一状态的转移。

服务器使用I/O多路复用，借助 select 函数检测输入事件的发生。

服务器调用 select 函数来 检测两种不同类型的输人事件: - a) 来自一个新客户端的连接请求到达 - b) 一个己存在的客户 端的己连接描述符准备好可以读了。

- init_pool 函数初始化客户端池。 clientfd 数组表示已连接描述符的集合， 其中整数 -1 表示一个可用的槽位。初始时，已连接描述符集合是空的，而且监听描述符是 select 读集合中唯一的描述符。
- add_clieht函数添加一个新的客户端到活动客户端池中。在 clientfd 数组中找到一个空槽位后，服务器将这个已连接描述符添加到数组中，并初始化相应的RIO读缓冲区，这样一来我们就能够对这个描述符调用rio_readlineb。将这个已连接描述符添加到 select 读集合，并更新该池的一些全局属性。 maxfd 变量记录了 select 的最大文件描述符。 maxi 变量记录的 是到 clientfd数组的最大索引，这样 check_clients 函数就无需搜索整个数组了。
- check_clients 函数回送来自每个准备好的已连接描述符的一个文本行。 如果成功地从描述符读取了一个文本行，那么我们就将该文本行回送到客户。
- select 函数检测到输入事件，而 add_client 函数创建 一个新的逻辑流(状态机)。
- check_clients 函数通过回送输入行来执行状态转移，而且当客 户端完成文本行发送时，它还要删除这个状态机。

（2）I/O 多路复用技术的优劣

  • 事件驱动设计的优点：

    • 它比基于进程的设计给了程序员更多的对程序行为的控制。
    • 一个基于 I/O 多路复用的事件驱动服务器是运行在单一进程上下文中的，因 此每个逻辑流都能访问该进程的全部地址空间。

  • 缺点就是编码复杂。我们的事件驱动的并发 echo 服务器需要的代码比基于进程的服务器多三倍。不幸的是，随着并发粒度的减小，复杂性还会上升。这里的粒度是指每个逻辑流每个时间片执行的指令数量。

4.基于线程的并发编程

线程(thread) 就是运行在进程上下文中的逻辑流。

每个线程都有它自己的线程上下文 (thread context)，包括一个唯一的整数线程 (Thread ID, TID)、栈、栈指针、程序计数器、通用目的寄存器和条件码。所有的运行在一个进程里的线程共享该进程的整个虚拟地址空间。

基于线程的逻辑流结合了基于进程和基于 I/O 多路复用的流的特性。同进程一样，线程由内核自动调度，并且内核通过一个整数 ID 来识别线程。同基于 I/O 多路复用的流一样，多个线程 运行在单一进程的上下文中，因此共享这个进程虚拟地址空间的整个内容，包括它的代码、数据、堆、共享库和打开的文件。

（1）线程执行模型

每个进程开始生命周期时都是单一线程，这个线程称为主线程 (main thread)。在某一时刻，主线程创建一个对等线程 (peer thread)，从这个时间点开始，两个线程就并发地运行。最后，因为主线程执行一个慢速系统调用。或者因为它被系统的间隔计时器中断， 控制就会通过上下文切换传递到对等线程。对等线程会执行一段时间，然后控制传递回主线程，依次类推。

- 线程的上下文切换要比进程的上下文切换快得多。
- 不是按照严格的父子层次来组织的。
- 和一个进程相关的线程组成一个对等(线程)池 (pool)，独立于其他线程创建的线程。
- 主线程和其他线程的区别仅在于它总是进程中第一个运行的线程。
- 对等 (线程)池概念的主要影响是，一个线程可以杀死它的任何对等线程，或者等待它的任意对等线程终止。
- 每个对等线程都能读写相同的共享数据。

（2）Posix 线程

Posix 线程 (Pthreads) 是在 C 程序中处理线程的一个标准接口。Pthreads 定义了大约 60 个函数，允许程序创建、杀死和回收线程，与对等线程安全地共享数据，还可以通知对等线程系统状态的变化。

线程的代码和本地数据被封装在一个线程例程(thread routine) 中。如果想传递多个参数给钱程例程，那么你应该将参数放 到一个结构中，并传递一个指向该结构的指针。想要线程例程返回多个参数，你可以返回一个指向一个结构的指针。

（3）创建线程

pthread_create 函数创建一个新的线程，并带着一个输入变量arg，在新线程的上下文中运行线程例程f。能用attr参数来改变新创建线程的默认属性。

当 pthreadcreate 返回时，参数 tid包含新创建线程的ID。新线程可以通过调用 pthreadself 函数来获得它自己的线程 ID.

（4）终止线程

当顶层的线程例程返回时，线程会隐式地终止。 通过调用 pthreadexit 函数，线程会显式地终止。如果主线程调用 pthreadexit , 它会等待所有其他对等线程终止，然后再终止主线程和整个进程，返回值为 thread_return。

（5）回收已终止线程的资源

线程通过调用 pthread_join 函数等待其他线程终止。

  • pthreadjoin 函数会阻塞，直到线程 tid 终止，将线程例程返回的 (void*) 指针赋值为 threadreturn 指向的位置，然后回收己终止线程占用的所有存储器资源。
  • pthread join 函数只能等待一个指定的线程终止。

（6）分离线程

在任何一个时间点上，线程是可结合的 (joinable) 或者是分离的 (detached)。一个可结合的线程能够被其他线程收回其资源和杀死。在被其他线程回收之前，它的存储器资源(例如栈)是没有被释放的。相反，一个分离的线程是不能被其他线程回收或杀死的。它的存储器资源在它终止时由系统自动释放。

默认情况下，线程被创建成可结合的。为了避免存储器泄漏，每个可结合线程都应该要么被其他线程显式地收回，要么通过调用 pthread_detach 函数被分离。

  • pthreaddetach 函数分离可结合线程 tid. 线程能够通过以 pthreadself()为参数的 pthread_detach 调用来分离它们自己。

（7）初始化线程

pthread_once 函数允许你初始化与线程例程相关的状态。

（8）一个基于线程的并发服务器

调用 pthread_ create 时，如何将已连接描述符传递给对等线程。最明显的方法就是传递一个指向这个描述符的指针。 对等线程间接引用这个指针，并将它赋值给一个局部变量。

5.多线程程序中的共享变量

（1）线程存储器模型

一个变量是共享的，当且仅当多个线程引用这个变量的某个实例。

（2）将变量映射到存储器

变量解释
全局变量全局变量是定义在函数之外的变量。在运行时，虚拟存储器的读/写区域只包含每个全局变量的一个实例，任何线程都可以引用。
本地自动变量本地自动变量就是定义在函数内部但是没有 static 属性的变量。在运行时，每个线程的栈都包含它自己的所有本地自动变量的实例。即使当多个线程执行同一个线程例程时也是如此。
本地静态变量本地静态变量是定义在函数内部并有 static 属性的变量。和全局变量一样，虚拟存储器的读/写区域只包含在程序中声明的每个本地静态变量的一个实例。

（3）共享变量

变量是共享的<=>当且仅当它的一个实例被一个以上的线程引用

6.用信号量同步线程

（1）进度图

进度图是将n个并发线程的执行模型化为一条n维笛卡尔空间中的轨迹线，原点对应于没有任何线程完成一条指令的初始状态。

当n=2时，状态比较简单，是比较熟悉的二维坐标图，横纵坐标各代表一个线程，而转换被表示为有向边

转换规则：
- 合法的转换是向右或者向上，即某一个线程中的一条指令完成
- 两条指令不能在同一时刻完成，即不允许出现对角线
- 程序不能反向运行，即不能出现向下或向左

而一个程序的执行历史被模型化为状态空间中的一条轨迹线。

  • 线程循环代码的分解： H：在循环头部的指令块 L：加载共享变量cnt到线程i中寄存器%eax的指令。 U：更新（增加）%eax的指令 S：将%eax的更新值存回到共享变量cnt的指令 T：循环尾部的指令块

  • 临界区：对于线程i，操作共享变量cnt内容的指令L,U,S构成了一个关于共享变量cnt的临界区。

  • 不安全区：两个临界区的交集形成的状态
  • 安全轨迹线：绕开不安全区的轨迹线

（2）信号量

信号量实现互斥的基本原理

  • 两个或多个进程通过传递信号进行合作，可以迫使进程在某个位置暂时停止执行（阻塞等待），直到它收到一个可以“向前推进”的信号（被唤醒）；

  • 将实现信号灯作用的变量称为信号量，常定义为记录型变量s，其一个域为整型，另一个域为队列，其元素为等待该信号量的阻塞进程(FIFO)。

    信号量定义：

    type semaphore=record
    
count: integer;
    
queue: list of process
    
end;
    
var s:semaphore;

  • 使用信号量来实现互斥基本思想

    将每个共享变量（或者一组相关的共享变量）与一个信号量s（初始为1）联系起来，然后用P和V操作将相应的临界区包围起来。

  • 几个概念

    • 二元信号量：用这种方式来保护共享变量的信号量叫做二元信号量，取值总是0或者1.
    • 互斥锁：以提供互斥为目的的二元信号量
    • 加锁：对一个互斥锁执行P操作
    • 解锁:对一个互斥锁执行V操作
    • 计数信号量：被用作一组可用资源的计数器的信号量
    • 禁止区：由于信号量的不变性，没有实际可能的轨迹能够包含禁止区中的状态。

  • wait(s)/signal(s)的应用

    • 进程进入临界区之前，首先执行wait(s)原语，若s.count<0，则进程调用阻塞原语，将自己阻塞，并插入到s.queue队列排队；
    • 注意，阻塞进程不会占用处理机时间，不是“忙等”。直到某个从临界区退出的进程执行signal(s)原语，唤醒它；
    • 一旦其它某个进程执行了signal(s)原语中的s.count+1操作后，发现s.count ≤0，即阻塞队列中还有被阻塞进程，则调用唤醒原语，把s.queue中第一个进程修改为就绪状态，送就绪队列，准备执行临界区代码。
生产者消费者问题
读者写者问题

7.使用线程提高并行性

8.其它并发问题

（1）线程安全

一个线程是安全的，当且仅当被多个并发线程反复的调用时，它会一直产生正确的结果。

（2）可重入性

当它们被多个线程调用时，不会引用任何共享数据。
  • 显式可重入的：

所有函数参数都是传值传递，没有指针，并且所有的数据引用都是本地的自动栈变量，没有引用静态或全剧变量。

  • 隐式可重入的：

调用线程小心的传递指向非共享数据的指针。

（3）在线程化的程序中使用已存在的库函数

使用线程不安全函数的可重入版本，名字以_r为后缀结尾。

（4）竞争

  • 竞争发生的原因：

    一个程序的正确性依赖于一个线程要在另一个线程到达y点之前到达它的控制流中的x点。也就是说，程序员假定线程会按照某种特殊的轨迹穿过执行状态空间，忘了一条准则规定：线程化的程序必须对任何可行的轨迹线都正确工作。

  • 消除方法：

    动态的为每个整数ID分配一个独立的块，并且传递给线程例程一个指向这个块的指针

（5）死锁

一组线程被阻塞了，等待一个永远也不会为真的条件。

参考资料

参考资料1：深入理解计算机系统（第二版）