信息安全设计基础系统第十四周学习总结

第九章 虚拟存储器

9.1 物理和虚拟寻址

.物理地址

计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组，每字节都有一个唯一的物理地址PA。

.虚拟地址

虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。

使用虚拟寻址时，CPU通过生成一个虚拟地址VA来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址

（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）

9.2 地址空间

.地址空间

地址空间是一个非负整数地址的有序集合：{0,1,2,……}

.线性地址空间

地址空间中的整数是连续的。

.虚拟地址空间

CPU从一个有 N=2^n 个地址的地址空间中生成虚拟地址

.地址空间的大小

由表示最大地址所需要的位数来描述:  N=2^n：n位地址空间

主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

9.3 虚拟存储器作为缓存的工具

虚拟存储器——虚拟页VP，每个虚拟页大小为P=2^平字节

物理存储器——物理页PP，也叫页帧，大小也为P字节。

任意时刻，虚拟页面的集合都被分为三个不相交的子集：

DRAM缓存的组织结构

总是使用写回而不是直写。

页表

页表是一个数据结构，存放在物理存储器中，将虚拟页映射到物理页。有效位+n位地址字段

虚拟存储器中的局部性

局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

颠簸：工作集大小超出了物理存储器的大小。

9.4 虚拟存储器作为存储器管理的工具

• 存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。

第五节 虚拟存储器作为存储器保护的工具

这里需要知道PTE的三个许可位：

• SUP：表示进程是否必须运行在内核模式下才能访问该页
• READ：读权限
• WRITE：写权限

第六节 地址翻译

结合高速缓存和虚拟存储器

• 首先，在既使用SRAM高速缓存又使用虚拟存储器的系统中，大多数系统选择物理寻址
• 主要思路是地址翻译发生在高速缓存之前
• 页表目录可以缓存，就像其他的数据字一样

利用TLB加速地址翻译

TLB：翻译后备缓冲器，是一个小的、虚拟存储的缓存，其中每一行都保存着一个由单个PTE组成的块

多级页表

• 如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在
• 只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。

在这里，PTE有三个权限位：

• R/W位：确定内容是读写还是只读
• U/S位：确定是否能在用户模式访问该页
• XD位：禁止执行位，64位系统中引入，可以用来禁止从某些存储器页取指令

还有连个缺页处理程序涉及到的位：

• A位，引用位，实现页替换算法
• D位，脏位，告诉是否必须写回牺牲页

Linux虚拟存储器系统

 

Linux虚拟存储器区域

区域：就是已分配的虚拟存储器的连续片。

每个存在的虚拟页面都保存在某个区域中。内核为系统中的每个进程维护一个单独的任务结构task_struct：

 

一个具体区域的区域结构包括：

• vm_start：指向起始处
• vm_end：指向结束处
• vm_prot：描述这个区域包含的所有页的读写许可权限
• vm_flags：是共享的还是私有的
• vm_next：指向下一个区域

二、Linux缺页异常处理

1.虚拟地址A是否合法？

2.存储器访问是否合法？即，是否有权限？

3.这时，是针对合法的虚拟地址进行合法的操作。所以：选择一个牺牲页面，如果被修改过就换新的并更新页表。

9.8 存储器映射

映射对象：

1.Unix文件系统中的普通文件

2.匿名文件（全都是二进制0）

共享对象

私有对象

• 共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的

• 即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。

私有对象

• 私有对象运用的技术：写时拷贝
• 在物理存储器中只保存有私有对象的一份拷贝

fork函数就是应用了写时拷贝技术

使用mmap函数的用户级存储器映射

创建新的虚拟存储器区域

#include <unistd.h>
#include <sys/mman.h>

void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
                成功返回指向映射区域的指针，若出错则为-1

参数含义：

• start：这个区域从start开始
• fd：文件描述符
• length：连续的对象片大小
• offset：距文件开始处的偏移量

• prot：访问权限位，具体如下：

  PROT_EXEC:由可以被CPU执行的指令组成
  PROT_READ:可读
  PROT_WRITE:可写
  PROT_NONE:不能被访问

• flag：由描述被映射对象类型的位组成，具体如下：

  MAP_ANON:匿名对象，虚拟页面是二进制0
  MAP_PRIVATE:私有的、写时拷贝的对象
  MAP_SHARED：共享对象

  2.删除虚拟存储器：

  int munmap(void *start, size_t length);
  成功返回0，失败返回-1

   从start开始删除，由接下来length字节组成的区域。

9.9 动态存储器分配

1.堆：

是一个请求二进制0的区域，紧接在未初始化的bss区域后开始，并向上（更高的地址）生长。有一个变量brk指向堆的顶部

2.分配器的两种基本风格：

a.显示分配器-malloc和free

b.隐式分配器/垃圾收集器

malloc函数：

系统调用malloc函数，从堆中分配块：

#include <stdlib.h>

void *malloc(size_t size);

成功返回指针，指向大小至少为size字节的存储器块，失败返回NULL

free

系统调用free函数来释放已分配的堆块：

#include <stdlib.h>

void free(void *ptr);

无返回值

ptr参数必须指向一个从malloc、calloc或者reallov获得的已分配块的起始位置。

 

分配器的要求和目标：

1.要求

• 处理任意请求序列
• 立即响应请求
• 只使用堆
• 对齐块
• 不修改已分配的块

2.目标：

• 最大化吞吐率（吞吐率：每个单位时间里完成的请求数）
• 最大化存储器利用率——峰值利用率最大化

碎片

虽然有未使用的存储器，但是不能用来满足分配请求时，发生这种现象。

1.内部碎片

发生在一个已分配块比有效载荷大的时候

易于量化。

2.外部碎片

发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生

难以量化，不可预测。

隐式空闲链表

堆块的格式：

由一个字的头部，有效荷载，和可能的额外填充组成。

将堆组织成一个连续的已分配块和空闲块的序列：

 

空闲块通过头部中的大小字段隐含地连接着，分配器可以通过遍历堆中所有的块，从而间接地遍历整个空闲块的集合。

需要：特殊标记的结束块。

系统对齐要求和分配器对块格式的选择会对分配器上的最小块大小有强制的要求。

放置已分配的块——放置策略

1.首次适配

从头开始搜索空闲链表，选择第一个合适的空闲块

2.下一次适配

从上一次搜索的结束位置开始搜索

3.最佳适配

检索每个空闲块，选择适合所需请求大小的最小空闲块

申请额外的堆存储器

用到sbrk函数：

#include <unistd.h>

vid *sbrk(intptr_t incr);

成功则返回旧的brk指针，出错为-1

通过将内核的brk指针增加incr来扩展和收缩堆。

合并空闲块

合并是针对于假碎片问题的，任何实际的分配器都必须合并相邻的空闲块。

有两种策略：

• 立即合并
• 推迟合并

 

空闲块总是需要脚部的。

实现简单的分配器

• 序言块和结尾块：序言块是初始化时创建的，而且永不释放；结尾块是一个特殊的块，总是以它为结束。
• 有一个技巧，就是将重复使用的，操作复杂又有重复性的，这些可以定义成宏，方便使用也方便修改。
• 需要注意强制类型转换，尤其是带指针的，非常复杂。
• 因为规定了字节对齐方式为双字，就代表块的大小是双字的整数倍，不是的舍入到是。

显式空闲链表

1.区别

（1）分配时间

隐式的，分配时间是块总数的线性时间

但是显式的，是空闲块数量的线性时间。

（2）链表形式

隐式——隐式空闲链表

显式——双向链表，有前驱和后继，比头部脚部好使。

2.排序策略：

• 后进先出
• 按照地址顺序维护

分离的空闲链表

分离存储，是一种流行的减少分配时间的方法。一般思路是将所有可能的块大小分成一些等价类/大小类。

分配器维护着一个空闲链表数组，每个大小类一个空闲链表，按照大小的升序排列。

有两种基本方法：

1.简单分离存储

每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个大小类中最大元素的大小。

（1）操作

如果链表非空：分配其中第一块的全部

如果链表为空：分配器向操作系统请求一个固定大小的额外存储器片，将这个片分成大小相等的块，并且连接起来成为新的空闲链表。

（2）优缺点

优点：时间快，开销小

缺点：容易造成内部、外部碎片

2.分离适配

每个空闲链表是和一个大小类相关联的，并且被组织成某种类型的显示或隐式链表，每个链表包含潜在的大小不同的块，这些块的大小是大小类的成员。

这种方法快速并且对存储器使用很有效率。

3.伙伴系统——分离适配的特例

其中每个大小类都是2的幂

这样，给定地址和块的大小，很容易计算出它的伙伴的地址，也就是说：一个块的地址和它的伙伴的地址只有一位不同。

优点：快速检索，快速合并。

9.10 垃圾收集

垃圾收集器是一种动态存储分配器，它自动释放程序不再需要的已分配块，这些块被称为垃圾，自动回收堆存储的过程叫做垃圾收集。

垃圾收集器将存储器视作一张有向可达图，只有当存在一条从任意根节点出发并到达p的有向路径时，才说节点p是可达的，而不可达点就是垃圾。

Mark&Sweep垃圾收集器

• 标记：标记出根节点的所有可达的和已分配的后继
• 清楚：释放每个未被标记的已分配块。

相关函数：

ptr定义为typedef void *ptr

• ptr isPtr(ptr p)：如果p指向一个已分配块中的某个字，那么就返回一个指向这个块的起始位置的指针b，否则返回NULL
• int blockMarked(ptr b)：如果已经标记了块b，那么就返回true
• int blockAllocated(ptr b)：如果块b是已分配的，那么久返回ture
• void markBlock(ptr b)：标记块b
• int length(ptr b)：返回块b的以字为单位的长度，不包括头部
• void unmarkBlock(ptr b)：将块b的状态由已标记的改为未标记的
• ptr nextBlock(ptr b)：返回堆中块b的后继

C保守的Mark&Sweep——平衡二叉树

根本原因是C语言不会用类型标记来标记存储器位置。

9.11  C程序中常见的与存储器有关的错误

1.间接引用坏指针 

——scanf错误

2.读未初始化的存储器

——假设堆存储器被初始化为0

3.允许栈缓冲区溢出：

——缓冲区溢出错误

4.假设指针和它们指向的对象是相同大小的

在远处起作用action at distance

 

学习总结及问题：

  虚拟存储器是一个很重要的概念。学习的时候可以把它与虚拟器比较着学，比较它们之间有很多类似的地方，但很多概念又不一样，书上讲的内容有些与操作系统书上的有重叠的地方，但有的地方比操作系统的详细，操作系统侧重将缺页时使用的算法，而《深入理解》书里讲得比较全面，比如一些生成虚拟地址的，以及虚拟地址与物理地址之间相关联的过程。写过的知识（操作系统课上提到过的），看上去还有几分亲切感，易于掌握。但是什么写时拷贝的一些知识还是很有点陌生。虚拟的存储器的思想，让我理解到了一个它的重要性，以及它所带来的各种好处 。提到的C语言中与存储器相关的错误看了之后，还是很有感触的，C语言程序编的不算太多，有时候调试到最后，程序突然中止，也看不出来为什么，看了之后，觉得很有用。

参考资料：

1.《深入理解计算机》

2.20135302闫佳歆博客