信息安全系统设计基础第十二周学习总结

第十一章  网络编程

11.1 客户端-服务器编程模型

1、每个网络应用都是基于客户端-服务器模型的。

2、客户端-服务器模型中的基本操作是事务。

11.2 网络

1、对于主机，网络是一种I/O设备，作为数据源和数据接收方。

2、物理上而言，网络是一个按照地理远近组成的层次系统。最底层是LAN。

3、一个以太网段，包括电缆和集线器；每根电缆都有相同的最大位带宽；集线器不加分辩地将一个端口上收到的每个位复制到其他所有的端口上。因此，每台主机都能看到每个位。
使用电缆和网桥，多个以太网段可以连接成较大的局域网，称为桥接以太网。这些电缆的带宽可以是不同的。

11.3全球IP因特网

1、因特网的客户端和服务器混合使用套接字接口函数和Unix I/O函数进行通信。

2、  IP地址

一个IP地址就是一个32位无符号整数。

IP地址通常以点分十进制表示法来表示。

3、 因特网域名

 

4、因特网应用程序通过调用gethostbyname函数和gethostbyaddr函数，从DNS数据库中检索任意的主机条目。

gethostbyname函数：返回和域名name相关的主机条目。
gethostbyaddr函数：返回和IP地址相关联的主机条目。

4、 因特网链接

套接字是连接的端点。

每个套接字都有相应的套接字地址，由一个因特网地址和一个16位的整数端口组成的，用“地址：端口”来表示。

一个连接是由它两端的套接字地址惟一确定的。这对套接字地址叫做套接字对。

11.4套接字接口

1、套接字接口是一组用来结合unit I/O函数创建网络应用的函数。

2、 套接字地址结构

从unit内核的角度来看，套接字就是通信的端点；从unix程序的角度来看，套接字就是一个有相应描述符的打开文件。

3、 函数

• sockte函数

创建一个套接字描述符。

• connect函数

建立和服务器的连接。

• open_clientfd函数

将socket和connect函数包装而成。客户端可以用它来和服务器建立连接。

• bind函数
• listen函数
• accept函数

均被服务器用于和客户端建立连接。

• open_listenfd函数

socket、bind和listen函数结合。用于服务器创建一个监听描述符。

11.5 Web服务器

1、Web基础

客户端和服务器之间一个交互用的是基于文本的应用级协议——HTTP

2、Web服务和常规文件检索服务区别

    Web内容可以用一个叫做HTML的语言来编写。

3、Web内容

以两种不同方式向客户端提供内容

（1）服务静态内容
（2）服务动态内容

4、HTTP事务

响应

• HTTP请求（方法：GET POST OPTIONS HEAD PUT DELETE TRACE）
• HTTP响应

5、 服务动态内容

（1）客户端如何将程序参数传递给服务器

（2）    服务器如何将参数传递给子进程

（3）    服务器如何将其他信息传递给子进程

（4）子进程将它的输出发送到那儿

 第十二章 并发编程

一、现在操作系统提供了三种基本的构造并发程序的方法：

　　1、进程。
　　2、I/O多路复用。
　　3、线程。

12.1 基于进程的并发编程

一、构造并发程序最简单的方法——用进程

常用函数如下：

• fork
• exec
• waitpid

二、在接受连接请求之后，服务器派生出一个子进程，这个子进程获得服务器描述表完整的拷贝。子进程关闭它的拷贝中监听描述符3，父进程关闭它的已连接描述符4的拷贝，因为不需要这些描述符了。

三、通常服务器会运行很长时间，所以需要一个SIGCHLD处理程序，来回收僵死进程。因为当SIGCHLD执行时，信号是阻塞的，而UNIX信号是不排队的，所以SIGCHLD必须准备好回收多个僵死进程。

四、循环中的父进程和子进程关闭各自需要关闭的描述符。

五、进程能够共享文件表，但不共享用户地址空间。

六、关于进程优劣：

1.优点：防止虚拟存储器被错误覆盖

2.缺点：开销高，共享状态信息才需要IPC机制

12.2 基于I/O多路复用的并发编程

一、面对困境——服务器必须响应两个互相独立的I/O事件：

　　（1）网络客户端发起的连接请求
　　（2）用户在键盘上键入的命令 ，解决的办法是I/O多路复用技术。基本思想是，使用select函数，要求内核挂起进程，只有在一个或多个I/O事件发生后，才将控制返回给应用程序。

二、基于I/O多路复用的并发事件驱动服务器

1、I/O多路复用可以用做并发事件驱动程序的基础，在事件驱动程序中，流是因为某种事件而前进的，一般概念是把逻辑流模型化为状态机。一个状态机就是一组状态、输入事件和转移。

2、并发事件驱动程序中echo服务器中逻辑流的状态机

三、I/O多路复用技术的优劣

1、优点：

　　（1）相较基于进程的设计，给了程序员更多的对程序程序的控制

　　（2）运行在单一进程上下文中，所以每个逻辑流都可以访问该进程的全部地址空间，共享数据容易实现

　　（3）可以使用GDB调试

　　（4）高效

2、缺点

　　（1）编码复杂

　　（2）不能充分利用多核处理器

12.3 基于线程的并发编程

一、线程就是运行在进程上下文中的逻辑流。每个线程都有它自己的线程上下文：

二、线程执行模型

1、主线程

　　在每个进程开始生命周期时都是单一线程——主线程，与其他进程的区别仅有：它总是进程中第一个运行的线程。

2、对等线程

 　  某时刻主线程创建，之后两个线程并发运行。

　　每个对等线程都能读写相同的共享数据。

3、 主线程切换到对等线程的原因：

　　（1）主线程执行一个慢速系统调用，如read或sleep

　　（2）被系统的间隔计时器中断

　　切换方式是上下文切换

　　对等线程执行一段时间后会控制传递回主线程，以此类推

 

4、 线程和进程的区别

　　（1）线程的上下文切换比进程快得多

　　（2）组织形式：

　　进程：严格的父子层次

　　线程：一个进程相关线程组成对等（线程）池，和其他进程的线程独立开来。一个线程可以杀死它的任意对等线程，或者等待他的任意对等线程终止。

三、Posix线程

1、Posix线程是C程序中处理线程的一个标准接口。基本用法是：

• 线程的代码和本地数据被封装在一个线程例程中
• 每个线程例程都以一个通用指针为输入，并返回一个通用指针。

四、创建线程

1、创建线程：pthread_create函数

　　#include <pthread.h>

　　typedef void *(func)(void *);

　　int pthread_create(pthread_t *tid, pthread_attr_t *attr, func *f, void *arg);

　　成功返回0，出错返回非0

　　创建一个新的线程，带着一个输入变量arg，在新线程的上下文运行线程例程f。

　　attr默认为NULL 

　　参数tid中包含新创建线程的ID

2、查看线程ID——pthread_self函数

　　#include <pthread.h>

 　　pthread_t pthread_self(void);

　　返回调用者的线程ID（TID）

五、终止线程

1、终止线程的几个方式：

• 隐式终止：顶层的线程例程返回
• 显示终止：调用pthread_exit函数
  *如果主线程调用，会先等待所有其他对等线程终止，再终止主线程和整个进程，返回值为pthread_return
• 某个对等线程调用Unix的exit函数，会终止进程与其相关线程
• 另一个对等线程通过以当前线程ID作为参数调用pthread_cancle来终止当前线程

2、pthread_exit函数

　　#include <pthread.h>

　　void pthread_exit(void *thread_return);

　　若成功返回0，出错为非0

3、pthread_cancle函数

　　#include <pthread.h>

　　void pthread_cancle(pthread_t tid);

　　若成功返回0，出错为非0

六、回收已终止线程的资源

　　用pthread_join函数：

　　#include <pthread.h>

　　int pthread_join(pthread_t tid,void **thrad_return);

　　这个函数会阻塞，知道线程tid终止，将线程例程返回的(void*)指针赋值为thread_return指向的位置，然后回收已终止线程占用的所有存储器资源

七、分离线程

在任何一个时间点上，线程是可结合的，或是分离的。

1、可结合的线程

• 能够被其他线程收回其资源和杀死
• 被收回钱，它的存储器资源没有被释放
• 每个可结合线程要么被其他线程显式的收回，要么通过调用pthread_detach函数被分离

2、分离的线程

• 不能被其他线程回收或杀死
• 存储器资源在它终止时由系统自动释放

3、pthread_detach函数

　　#include <pthread.h>

　　void pthread_detach(pthread_t tid);

　　若成功返回0，出错为非0

　　这个函数可以分离可结合线程tid。

　　线程能够通过以pthread_self()为参数的pthread_detach调用来分离他们自己。

　　每个对等线程都应该在他开始处理请求之前分离他自身，以使得系统能在它终止后回收它的存储器资源。

八、初始化线程：pthread_once函数

　　#include <pthread.h>

　　pthread_once_t once_control = PTHREAD_ONCE_INIT;

　　int pthread_once(pthread_once_t *once_control, void (*init_routine)(void));

　　总是返回0

九、基于线程的并发服务器

注意事项：

1.调用pthread_create时，如何将已连接描述符传递给对等进程？

传递指针。

2.避免存储器泄露？

必须分离每个线程，使它终止时它的存储器资源能被收回。

12.4  多线程程序中的共享变量

一、线程存储器模型

• 1、每个线程都有它自己独自的线程上下文，包括线程ID、栈、栈指针、程序计数器、条件码和通用目的寄存器值。
• 2、每个线程和其他线程一起共享进程上下文的剩余部分。寄存器是从不共享的，而虚拟存储器总是共享的。
• 3、线程化的c程序中变量根据它们的存储器类型被映射到虚拟存储器：全局变量，本地自动变量（不共享），本地静态变量。 

二、将变量映射到存储器

 

三、共享变量

变量v是共享的——当且仅当它的一个实例被一个以上的线程引用。

12.5 用信号量同步线程

共享变量引入了同步错误。 

一、进度图

进度图

进度图是将n个并发线程的执行模型化为一条n维笛卡尔空间中的轨迹线，原点对应于没有任何线程完成一条指令的初始状态。

当n=2时，状态比较简单，是比较熟悉的二维坐标图，横纵坐标各代表一个线程，而转换被表示为有向边

转换规则：

• 合法的转换是向右或者向上，即某一个线程中的一条指令完成
• 两条指令不能在同一时刻完成，即不允许出现对角线
• 程序不能反向运行，即不能出现向下或向左

而一个程序的执行历史被模型化为状态空间中的一条轨迹线。

轨迹线示

 

线程循环代码的分解：

• H：在循环头部的指令块
• L：加载共享变量cnt到线程i中寄存器%eax的指令。
• U：更新（增加）%eax的指令
• S：将%eax的更新值存回到共享变量cnt的指令
• T：循环尾部的指令块

二、信号量

1、用信号量解决同步问题，信号量s是具有非负整数值的全局变量，有两种特殊的操作来处理（P和V）：

2、P(s)：如果s非零，那么P将s减1，并且立即返回。如果s为0，那么就挂起这个线程，直到s变为非零；

3、V(s)：V操作将s加1。

 

三、使用信号量来实现互斥

1、基本思想

将每个共享变量（或者一组相关的共享变量）与一个信号量s（初始为1）联系起来，然后用P和V操作将相应的临界区包围起来。

 

2、几个概念 

• 二元信号量：用这种方式来保护共享变量的信号量叫做二元信号量，取值总是0或者1.
• 互斥锁：以提供互斥为目的的二元信号量
• 加锁：对一个互斥锁执行P操作
• 解锁；对一个互斥锁执行V操作
• 计数信号量：被用作一组可用资源的计数器的信号量
• 禁止区：由于信号量的不变性，没有实际可能的轨迹能够包含禁止区中的状态。

3、wait(s)/signal(s)的应用

• 进程进入临界区之前，首先执行wait(s)原语，若s.count<0，则进程调用阻塞原语，将自己阻塞，并插入到s.queue队列排队；
• 注意，阻塞进程不会占用处理机时间，不是“忙等”。直到某个从临界区退出的进程执行signal(s)原语，唤醒它；
• 一旦其它某个进程执行了signal(s)原语中的s.count+1操作后，发现s.count ≤0，即阻塞队列中还有被阻塞进程，则调用唤醒原语，把s.queue中第一个进程修改为就绪状态，送就绪队列，准备执行临界区代码。

四、利用信号量来调度共享资源

1、信号量有两个作用：

• 实现互斥
• 调度共享资源

2、信号量分为：互斥信号量和资源信号量。

• 互斥信号量用于申请或释放资源的使用权，常初始化为1；
• 资源信号量用于申请或归还资源，可以初始化为大于1的正整数，表示系统中某类资源的可用个数。

3、生产者——消费者问题

 

保证对缓冲区的访问是互斥的；还需要调度对缓冲区的访问，即，如果缓冲区是满的（没有空的槽位），那么生产者必须等待直到有一个空的槽位为止，如果缓冲区是空的（即没有可取的项目），那么消费者必须等待直到有一个项目变为可用。

4、读者——写者问题

• 修改对象的线程叫做写者；只读对象的线程叫做读者。
• 写者必须拥有对对象的独占访问，而读者可以和无限多个其他读者共享对象。

读者——写者问题基本分为两类：

第一类，读者优先，要求不要让读者等待，除非已经把使用对象的权限赋予了一个写者。换句话说，读者不会因为有一个写者等待而等待；
第二类，写者优先，要求一定能写者准备好可以写，它就会尽可能地完成它的写操作。同第一类问题不同，在一个写者后到达的读者必须等待，即使这个写者也是在等待。

五、基于预线程的并发服务器

1、一个基于预线程化的服务器通过使用如下图所示的生产者——消费者模型来降低这种开销。

2、服务器是由一个主线程和一组工作组线程构成的。

3、主线程不断地接受来自客户端的连接请求，并将得到的连接描述符放在一个有限缓冲区中。

4、每一个工作组线程反复地从共享缓冲区中取出描述符，为客户端服务，然后等待下一个描述符。

 

12.7  其他并发问题

一、线程安全性 

　　一个线程是安全的，当且仅当被多个并发线程反复的调用时，它会一直产生正确的结果。

四个不相交的线程不安全函数类以及应对措施：

　　1、不保护共享变量的函数——用P和V这样的同步操作保护共享变量

　　2、保持跨越多个调用的状态的函数——重写，不用任何static数据。

　　3、返回指向静态变量的指针的函数——①重写；②使用加锁-拷贝技术。

　　4、调用线程不安全函数的函数——参考之前三种

二、可重入性

　　当它们被多个线程调用时，不会引用任何共享数据。

　　1、显式可重入的：所有函数参数都是传值传递，没有指针，并且所有的数据引用都是本地的自动栈变量，没有引用静态或全剧变量。

　　2、隐式可重入的：调用线程小心的传递指向非共享数据的指针。

三、在线程化的程序中使用已存在的库函数

　　一句话，就是使用线程不安全函数的可重入版本，名字以_r为后缀结尾。

四、竞争

　　当程序员错误地假设逻辑流该如何调度时，就会发生竞争。为了消除竞争，通常我们会动态地分配内存空间。

五、死锁：

　　当一个流等待一个永远不会发生的事件时，就会发生死锁

参考资料

《深入理解计算机系统》

总结

这周学习了第十一章网络编程和十二章并发编程这两章，有的内容在操作系统这门课程中学过，所以相对容易理解一些，下周将更加深入地学习。