第九章 虚拟存储器

学习目标：
理解虚拟存储器的概念和作用
理解地址翻译的概念
理解存储器映射
掌握动态存储器分配的方法
理解垃圾收集的概念
了解C语言中与存储器有关的错误

一、概述

  1. 虚拟存储器的三个重要能力：

     - 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，高效的使用了主存
 - 它为每个进程提供了一致的地址空间，从而简化了存储器管理
 - 它保护了每个进程的地址空间不被其他进程破坏

  2. 虚拟存储器是中心的、强大的、危险的。

二、地址

1.物理和虚拟寻址

（1）物理寻址

  • 主存被组织成一个由M个连续的字节大小的单元组成的数组，依次类推的寻址方式称为物理寻址。

（2）虚拟寻址

  • CPU生成一个虚拟地址（VA）来访问主存，在被传送到存储器之前先转换成适当的物理地址。地址翻译通过CPU芯片上的存储器管理单元完成。

2.地址空间

地址空间是一个非负整数地址的有序集合：{0,1,2,……}

（1）线性地址空间

- 地址空间中的整数是连续的。

（2）虚拟地址空间

  • CPU从一个有 N=2^n 个地址的地址空间中生成虚拟地址，这个地址空间成为称为虚拟地址空间。

（3）物理地址空间

  • 与系统中的物理存储器的M个字节相对应。

（4）地址空间的大小

- 由表示最大地址所需要的位数来描述。
- N=2^n：n位地址空间


主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

三、虚拟存储器

1.作为缓存的工具

虚拟存储器——虚拟页VP，每个虚拟页大小为P=2^平字节
物理存储器——物理页PP，也叫页帧，大小也为P字节。

  • 任意时刻，虚拟页面的集合都被分为三个不相交的子集：

    • 未分配的：VM系统还没分配/创建的页，不占用任何磁盘空间。
    • 缓存的：当前缓存在物理存储器中的已分配页
    • 未缓存的：没有缓存在物理存储器中的已分配页

（1）DRAM缓存的组织结构

  • 不命中处罚很大
  • 是全相联的——任何虚拟页都可以放在任何的物理页中。
  • 替换算法精密
  • 总是使用写回而不是直写。

（2）页表

页表：是一个数据结构，存放在物理存储器中，将虚拟页映射到物理页，就是一个页表条目的数组。

  • 页表就是一个页表条目PTE的数组。

      PTE：由一个有效位和一个n位地址字段组成的，表明了该虚拟页是否被缓存在DRAM中。

  • 页表的组成：有效位+n位地址字段

    • 如果设置了有效位：地址字段表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页。
    • 如果没有设置有效位：
      • 空地址：表示该虚拟页未被分配
      • 不是空地址：这个地址指向该虚拟页在磁盘上的起始位置。

（3）缺页

  • 缺页：就是指DRAM缓存不命中。

  • 缺页异常：会调用内核中的缺页异常处理程序，选择一个牺牲页。

  • 页：虚拟存储器的习惯说法，就是块

  • 交换=页面调度：磁盘和存储器之间传送页的活动

  • 按需页面调度：直到发生不命中时才换入页面的策略，所有现代系统都使用这个。

（4）虚拟存储器中的局部性

局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

  • 所以只要程序有良好的时间局部性，虚拟存储器系统就能工作的相当好。

  • 颠簸：工作集大小超出了物理存储器的大小。

2.作为存储器管理的工具

操作系统为每个进程提供了一个独立的页表，也就是一个独立的虚拟地址空间。

  • 多个虚拟页面可以映射到同一个共享物理页面上。

  • 存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。

  • 按需页面调度和独立的虚拟地址空间的结合简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

      - 简化链接：独立的地址空间允许每个进程的存储器映像使用相同的基本格式，而不管代码和数据实际存放在物理存储器的何处。
  - 简化加载：虚拟存储器使得容易想存储器中加载可执行文件和共享文件对象。
  - 简化共享：独立地址空间为操作系统提供了一个管理用户进程和操作系统自身之间共享的一致机制。
  - 简化存储器分配：虚拟存储器为向用户进程提供一个简单的分配额外存储器的机制。

3.作为存储器保护的工具

通过在PTE上添加一些额外的许可来控制对一个虚拟页面的内容访问。

  • PTE的三个许可位：

    SUP：表示进程是否必须运行在内核模式下才能访问该页
    READ：读权限
    WRITE：写权限

4.地址翻译

（1）地址翻译

  • 地址翻译就是一个N元素的虚拟地址空间VAS中的元素和一个M元素的物理地址空间PAS中元素之间的映射。

      MAP: VAS → PAS ∪ ∅

  • 这里

      MAP = A' ，如果虚拟地址A处的数据在PAS的物理地址A'处
  MAP = ∅ ，如果虚拟地址A处的数据不在物理存储器中

  • 如何用页表实现这种映射

当页面命中时，CPU硬件执行步骤
  • 处理器生成虚拟地址，传给MMU
  • MMU生成PTE地址，并从高速缓存/主存请求得到他
  • 高速缓存/主存向MMU返回PTE
  • MMU构造物理地址，并把它传给高速缓存/主存
  • 高速缓存/主存返回所请求的数据给处理器。
处理缺页时，CPU硬件执行步骤
  • 处理器生成虚拟地址，传给MMU
  • MMU生成PTE地址，并从高速缓存/主存请求得到他
  • 高速缓存/主存向MMU返回PTE
  • PTE中有效位为0，触发缺页异常
  • 确定牺牲页
  • 调入新页面，更新PTE
  • 返回原来的进程，再次执行导致缺页的指令，会命中
图示

（2）结合高速缓存和虚拟存储器

  • 在既使用SRAM高速缓存又使用虚拟存储器的系统中，大多数系统选择物理寻址。
  • 两者结合的主要思路是地址翻译发生在高速缓存之前。
  • 页表目录可以缓存，就像其他的数据字一样。

（3）利用TLB加速地址翻译

TLB：翻译后备缓冲器，是一个小的、虚拟存储的缓存，其中每一行都保存着一个由单个PTE组成的块
  • 步骤
    • CPU产生一个虚拟地址
    • MMU从TLB中取出相应的PTE
    • MMU将这个虚拟地址翻译成一个物理地址，并且将它发送到高速缓存/主存
    • 高速缓存/主存将所请求的数据字返回给CPU

（4）多级页表

多级页表——采用层次结构，用来压缩页表。

  • 以两层页表层次结构为例，好处是：

    • 如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在
    • 只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。

  • 多级页表的地址翻译：

四、存储器

1.存储器映射

指Linux通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容的过程。
  • 映射对象：
    • Unix文件系统中的普通文件
    • 匿名文件（全都是二进制0）

（1）共享对象和私有对象

  • 共享对象

      - 共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的。
  - 即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。

  • 私有对象

      - 私有对象运用的技术：写时拷贝
  - 在物理存储器中只保存有私有对象的一份拷贝

（2）fork函数就是应用了写时拷贝技术，execve函数：

  • 创建新的虚拟存储器区域

      #include <unistd.h>
  #include <sys/mman.h>
  
  void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
          成功返回指向映射区域的指针，若出错则为-1

    • 参数：

        start：这个区域从start开始
  fd：文件描述符
  length：连续的对象片大小
  offset：距文件开始处的偏移量
  prot：访问权限位，具体如下：
  
  PROT_EXEC:由可以被CPU执行的指令组成
  PROT_READ:可读
  PROT_WRITE:可写
  PROT_NONE:不能被访问
  flag：由描述被映射对象类型的位组成，具体如下：
  
  MAP_ANON:匿名对象，虚拟页面是二进制0
  MAP_PRIVATE:私有的、写时拷贝的对象
  MAP_SHARED：共享对象

  • 删除虚拟存储器

      #include <sys/mman.h>
  int munmap(void *start, size_t length);
  成功返回0，失败返回-1
    • 从start开始删除，由接下来length字节组成的区域。

2.动态存储器分配

堆：一个请求二进制0的区域，紧接在未初始化的bss区域后开始，并向上（更高的地址）生长。有一个变量brk指向堆的顶部。

  • 分配器的两种基本风格：

    • 显示分配器-malloc和free
    • 隐式分配器/垃圾收集器

（1）malloc和free函数

  • 系统调用malloc函数，从堆中分配块：

      #include <stdlib.h>
  void *malloc(size_t size);
  成功返回指针，指向大小至少为size字节的存储器块，失败返回NULL

  • 系统调用free函数来释放已分配的堆块：

      #include <stdlib.h>
  void free(void *ptr);
  
  无返回值
  ptr参数必须指向一个从malloc、calloc或者reallov获得的已分配块的起始位置。

  • 使用动态存储器分配原因：经常直到程序实际运行时，才知道某些数据结构的大小。

（2）分配器的要求和目标：

  • 要求

    • 处理任意请求序列
    • 立即响应请求
    • 只使用堆
    • 对齐块
    • 不修改已分配的块

  • 目标

    • 最大化吞吐率
    • 最大化存储器利用率——峰值利用率最大化

吞吐率：每个单位时间里完成的请求数

（3）碎片

虽然有未使用的存储器，但是不能用来满足分配请求。

  • 内部碎片：发生在一个已分配块比有效载荷大的时候，易于量化。

  • 外部碎片：发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生。难以量化，不可预测。

（4）隐式空闲链表

  • 堆块的格式：由一个字的头部，有效荷载，和可能的额外填充组成。

  • 将堆组织成一个连续的已分配块和空闲块的序列：

    • 空闲块通过头部中的大小字段隐含地连接着，分配器可以通过遍历堆中所有的块，从而间接地遍历整个空闲块的集合。

  • 需要：特殊标记的结束块。

      系统对齐要求和分配器对块格式的选择会对分配器上的最小块大小有强制的要求。

（5）放置已分配的块——放置策略

  • 首次适配：从头开始搜索空闲链表，选择第一个合适的空闲块
  • 下一次适配：从上一次搜索的结束位置开始搜索
  • 最佳适配：检索每个空闲块，选择适合所需请求大小的最小空闲块

（6）申请额外的堆存储器

  • sbrk函数

      #include <unistd.h>
  vid *sbrk(intptr_t incr);
  
  成功则返回旧的brk指针，出错为-1
    • 通过将内核的brk指针增加incr来扩展和收缩堆。

（7）合并空闲块

  • 合并是针对于假碎片问题的，任何实际的分配器都必须合并相邻的空闲块。

  • 两种策略：

      立即合并
  推迟合并

（8）带边界的合并

3.垃圾收集

垃圾收集器是一种动态存储分配器。，自动释放程序已经不再需要的已分配块（垃圾）。

（1）基本知识

  • 垃圾收集器将存储器视为一张有向可达图，图的节点被分配为一组根节点和一组堆节点。当存在一条从任意根节点出发到并到达P的有向路径时，就称节点P是可达的。

（2）Mark&Sweep垃圾收集器

  • Mark&Sweep垃圾收集器由标记阶段和清除阶段组成，标记阶段标记出根节点所有可达的和已分配的后继，清除阶段释放每个未被标记的已分配块。

  • 在对Mark&Sweep的描述中使用下列函数

      - ptr isPtr(ptr p):如果p指向一个已分配块中的某个字，那么就返回一个指向这个块起始位置的指针b，否则返回NULL。
  - int blockMarked(ptr b):如果已经标记了块b，就返回true。
  - int blockAllocated(ptr b):如果块b是已分配的，就返回true。
  - void markBlock(ptr b):标记块b。
  - int length(ptr b):返回块b的以字为单位的长度（不包括头部）。
  - void unmarkBlock(ptr b):将块b的状态由已标记的改为未标记的。
  - ptr nextBlock(ptr b):返回堆中块b的后继。

五、C程序中常见的与存储器有关的错误

（1）间接引用坏指针

  • 在进程的虚拟地址空间中有较大的洞，没有映射到任何有意义的数据，如果试图引用一个指向这些洞的指针，操作系统就会以段异常来终止程序。

  • 典型的错误是：

      scanf("%d",val);

（2）读未初始化的存储器

  • 虽然bass存储器位置总是被加载器初始化为0，但对于堆存储器却并不是这样的。
  • 常见的错误就是假设堆存储器被初始化为0.

（3）允许栈缓冲区溢出

  • 如果一个程序不检查输入串的大小就写入栈中的目标缓冲区，程序就会出现缓冲区溢出错误。

（4）假设指针和指向他们的对象大小是相同的。

（5）造成错位错误。

  • 一种很常见的覆盖错误来源

（6）引用指针，而不是他所指向的对象。

  • 注意C的优先级和结合性

（7）误解指针运算

  • 忘记了指针的算术操作是以它们指向的对象的大小为单位来进行，而这种大小单位不一定是字节。

（8）引用不存在的变量。

（9）引用空闲堆块中的数据。

（10）引起存储器泄露

  • 当不小心忘记释放已分配块，而在堆里创建了垃圾时，就会引起存储器泄露。

其它

  1. 读完这一章只有一个感觉，操作系统真的没学好....这周做的操作系统的实验就是有关页表和地址的，主要针对的是缺页中断那一部分，但是越看这一章越觉得我的操作系统只是停留在会做题的水平上，根本没有理解。尤其是看到9.7案例研究的部分，简直要命...
  2. 书上虽然讲了很多东西，尽管与编程息息相关，但是因为平时都没有注意，只看讲解并没有什么很深的理解，后面关于分配器的读起来比较费劲。
  3. 理解得最深刻的可能就是最后一部分C程序中常见的与存储器有关的错误....因为经常有编程时出现这类错误的体会，再看就有一种恍然大悟的感觉——原来这些错误是这样啊！

参考资料

参考资料1：深入理解计算机系统（第二版）