第9章 虚拟存储器 学习笔记

第九章 虚拟存储器

虚拟存储器是计算机系统最重要的概念之一。

虚拟存储器（Virtual Memory），是硬件异常，硬件地址翻译，主存，磁盘文件和内核软件的完善交互，它为每个进程提供一个大的，一致的，私有地址空间。通过一个清晰的机制，虚拟存储器提供了三个要重的能力：

• 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，高效的使用了主存
• 它为每个进程提供了一致的地址空间，从而简化了存储器管理
• 它保护了每个进程的地址空间不被其他进程破坏

9.1 物理和虚拟寻址

1.计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组。每字节都有一个惟一的物理地址。

2.早期的PC使用物理寻址，而且诸如数字信号处理器，嵌入式微控制器以及Cray超级计算机这样的系统仍然继续使用这种寻址方式。而为通用计算机设计师的现代处理器使用的是虚拟寻址。使用虚拟寻址时，CPU通过生成一个虚拟地址来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）

9.2 地址空间

1.地址空间是一个非负整数地址的有序集合：｛0，1，2，...｝，如果地址是连续的，则称为线性地址空间。如果计算机有n位地址总线，在一个带有虚拟存储器的系统中，CPU从一个有N = 2n个地址的地址空间中生成虚拟地址，这个地址称为虚拟地址空间：｛0，1，2，...,N-1｝

2.一个地址空间的大小是由表示最大地址所需要的位数来描述的。例如：N=2^n：n位地址空间

3.一个系统还有一个物理地址空间，它与系统中物理存储器的M个字节相对应：｛0，1，2，...M-1｝。M不要求是2的幂。

4.主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

9.3 虚拟存储器作为缓存的工具

概念上言，虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。每字节都有一个惟一的虚拟地址，这个惟一的虚拟地址是作为到数组的索引的。磁盘上数组的内容被缓存到主存中。和存储器层次结构中其他缓存一样，磁盘（较低层）上的数据被分成块，这些块作为磁盘和主存（较高层）之间的传输单元。VM系统通过将虚拟存储器分割成称为虚拟页（virtual page,VP）的大小固定的块，来处理这个问题。每个虚拟页的大小为P = 2p字节。类似地，物理存储器被分割成物理页（physical page,PP），大小也为P字节（物理页也被称为页帧，page frame）。

在任意时刻，虚拟页面的集合都被分为三个不相交的子集：

• 未分配的：VM系统还没分配/创建的页，不占用任何磁盘空间。
• 缓存的：当前缓存在物理存储器中的已分配页
• 未缓存的：没有缓存在物理存储器中的已分配页

1.DRAM缓存的组织结构

• 不命中处罚很大
• 是全相联的——任何虚拟页都可以放在任何的物理页中。
• 替换算法精密
• 总是使用写回而不是直写。

2.页表

存放在物理存储器一个数据结构，叫做页表（page table）。页表将虚拟页映射到物理页。

页表就是一个PTE（page table entry，页表条目）的数组。虚拟地址空间中的每个页在页表中的一个固定偏移量处都有一个PTE。

NULL：未分配。
VP3，VP5：已分配，但是还未被缓存。
VP1：已分配，已缓存。

3.页命中

• 缺页：就是指DRAM缓存不命中。
• 缺页异常：会调用内核中的缺页异常处理程序，选择一个牺牲页。
• 页：虚拟存储器的习惯说法，就是块
• 交换=页面调度：磁盘和存储器之间传送页的活动
• 按需页面调度：直到发生不命中时才换入页面的策略，所有现代系统都使用这个。

4.缺页

DRAM缓存不命中称为缺页。

局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

颠簸：工作集大小超出了物理存储器的大小。

9.4 虚拟存储器作为存储器管理的工具

• 操作系统为每个进程提供了一个独立的页表，也就是一个独立的虚拟地址空间。
• 抖个虚拟页面可以映射到同一个共享物理页面上。
• 存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。

VM简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

9.5 虚拟存储器作为存储器保护的工具

PTE的三个许可位：

• SUP：表示进程是否必须运行在内核模式下才能访问该页
• READ：读权限
• WRITE：写权限

9.6 地址翻译

1.地址翻译

地址翻译是一个N元素的虚拟地址空间（VAS）中的元素和一个M元素的物理地址空间（PAS）中元素之间的映射。

2.页表基址寄存器

CPU中的一个控制寄存器，叫做页表基址寄存器（page table base register,PTBR）指向当前页表。N位的虚拟地址包含两个部分：一个p位的VPO（virtual page offset,虚拟页面偏移）和一个n-p位的VPN（virtual page number）。MMU利用VPN来选择适当的PTE。如VPN0选择PTE0。因为物理和虚拟页面都是p字节的，所以PPO（physical page offset物理页面偏移）和VPO是相同的，所以，将页表条目中PPN（physical page number,物理页号）和虚拟地址中的VPO串联起来，就是相应的物理地址。

3.页面命中完全由硬件处理的，而处理缺页要求硬件和OS内核协作完成。

4.结合高速缓存和虚拟存储器

大多数系统是选择物理寻址的方式来访问高速缓存。使用物理寻址，多个进程同时在高速缓存中有存储块和共享来自相同虚拟页面的块成为简单的事情。而且，高速缓存无需处理保护的问题，因为访问权限的检查是地址翻译过程中一部分。

5.利用TLB加速地址翻译

在MMU中包括一个关于PTE的小的缓存，称为TLB。TLB是一个小的，虚拟寻址的缓存，其中每一行都保存着一个由单个PTE组成的块。

6.多级页表

多级页表——采用层次结构，用来压缩页表。

（1）以两层页表层次结构为例，好处是：
     如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在
     只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。
（2）多级页表的地址翻译：

 

9.7 案例研究：Intel Core i7/Linux存储器系统

处理器包：四个核、一个大的所有核共享的L3高速缓存和一个DDR3存储器控制器。

一、 Core i7地址翻译

二、Linux虚拟存储器系统

Linux为每个进程维持了一个单独的虚拟地址空间。内核存储器包含内核中的代码和数据结构。一部分区域映射到所有进程共享的物理页面另一部分包含每个进程都不相同的数据。

1．Linux虚拟存储器区域

区域：就是已分配的虚拟存储器的连续片，这些页是相关联的。

每个存在的虚拟页面都保存在某个区域中。内核为系统中的每个进程维护一个单独的任务结构task_struct：

一个具体区域的区域结构包括：

•vm_start：指向起始处
•vm_end：指向结束处
•vm_prot：描述这个区域包含的所有页的读写许可权限
•vm_flags：是共享的还是私有的
•vm_next：指向下一个区域

2．Linux缺页异常处理

（1）虚拟地址A是否合法？

   不合法，触发段错误，终止进程 
   合法，进入下一条

（2)存储器访问是否合法？即，是否有权限？

   不合法，触发保护异常，终止程序
   合法，进入下一条

（3)这时，是针对合法的虚拟地址进行合法的操作。所以：选择一个牺牲页面，如果被修改过就换新的并更新页表。

9．8 存储器映射

Linux通过将一个虚拟存储器区域与一个磁盘上的对象关联起来，以初始化这个虚拟存储器区域的内容的过程叫做存储器映射。

映射对象：

1.Unix文件系统中的普通文件
2.匿名文件（由内核创建，全都是二进制0）

一、共享对象和私有对象

1. 共享对象

   • 共享对象对于所有把它映射到自己的虚拟存储器进程来说都是可见的
   • 即使映射到多个共享区域，物理存储器中也只需要存放共享对象的一个拷贝。

2. 私有对象

   • 私有对象运用的技术：写时拷贝
   • 在物理存储器中只保存有私有对象的一份拷贝

   fork函数就是应用了写时拷贝技术，至于execve函数：

二、使用mmap函数的用户级存储器映射

1.创建新的虚拟存储器区域

 #include <unistd.h>
   #include <sys/mman.h>
   void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
                                  成功返回指向映射区域的指针，若出错则为-1

参数含义：

•   start：这个区域从start开始
•   fd：文件描述符
• length：连续的对象片大小
• offset：距文件开始处的偏移量
• prot：访问权限位，具体如下：
• PROT_EXEC:由可以被CPU执行的指令组成
• PROT_READ:可读
• PROT_WRITE:可写
  PROT_NONE:不能被访问
• flag：由描述被映射对象类型的位组成，具体如下：
•MAP_ANON:匿名对象，虚拟页面是二进制0
•MAP_PRIVATE:私有的、写时拷贝的对象
 MAP_SHARED：共享对象

2.删除虚拟存储器：

 include
 include <sys/mman.h>
 int munmap(void *start, size_t length);
                               成功返回0，失败返回-1

从start开始删除，由接下来length字节组成的区域。

9.9 动态存储器分配

1. 堆：动态存储器分配维护着一个进程的虚拟存储器区域，称为堆。
   假设它是一个请求二进制0的区域，紧接在未初始化的bss区域后开始，并向上（更高的地址）生长。有一个变量brk指向堆的顶部

2. 分配器的两种基本风格：

    a.显示分配器-malloc和free     
    b.隐式分配器/垃圾收集器

   一、malloc和free函数：

3. 系统调用malloc函数，从堆中分配块：

   #include <stdlib.h>
   void *malloc(size_t size);
                        返回：成功则为指针，指向大小至少为size字节的存储器块，失败则为NULL

4. 系统调用free函数来释放已分配的堆块：

   #include <stdlib.h>
   void free(void *ptr);
                         无返回值

   ptr参数必须指向一个从malloc、calloc或者reallov获得的已分配块的起始位置。

   二、为什么要使用动态存储器分配

   因为经常知道程序实际运行时，它们才知道某些数据结构的大小。

   三、分配器的要求和目标：

5. 约束条件

   • 处理任意请求序列
   • 立即响应请求
   • 只使用堆
   • 对齐块
   • 不修改已分配的块

6. 目标：

   • 最大化吞吐率（吞吐率：每个单位时间里完成的请求数）
   • 最大化存储器利用率——峰值利用率最大化

   四、碎片

   虽然有未使用的存储器，但是不能用来满足分配请求时，发生这种现象。

7. 内部碎片

   发生在一个已分配块比有效载荷大的时候。

   易于量化。

8. 外部碎片

   发生在当空闲存储器合计起来足够满足一个分配请求，但是没有一个单独的空间块足以处理这个请求时发生

   难以量化，不可预测。

五、实现问题

一个实际的分配器要在吞吐率和利用率之间把握好平衡，需要考虑：

空闲快组织、放置、分割、合并

六、隐式空闲链表

1. 堆块的格式：由一个字的头部，有效荷载，和可能的额外填充组成。

2. 将堆组织成一个连续的已分配块和空闲块的序列：

   

3. 空闲块通过头部中的大小字段隐含地连接着，分配器可以通过遍历堆中所有的块，从而间接地遍历整个空闲块的集合。

   需要：特殊标记的结束块。

4. 系统对齐要求和分配器对块格式的选择会对分配器上的最小块大小有强制的要求。

七、放置已分配的块——放置策略

1. 首次适配

   从头开始搜索空闲链表，选择第一个合适的空闲块

2. 下一次适配

   从上一次搜索的结束位置开始搜索

3. 最佳适配

   检索每个空闲块，选择适合所需请求大小的最小空闲块

   八、分割空闲块

九、获取额外的堆存储器

用到sbrk函数：
#include 
vid *sbrk(intptr_t incr);
成功则返回旧的brk指针，出错为-1

通过将内核的brk指针增加incr来扩展和收缩堆。

十、合并空闲块

合并是针对于假碎片问题的，任何实际的分配器都必须合并相邻的空闲块。

有两种策略：

• 立即合并
• 推迟合并

十一、带边界的合并

这个合并的意思是，因为头部的存在，所以向后合并是简单的，但是向前合并是不方便的，所以在块的最后加一个脚部，作为头部的副本，就方便了合并，具体四种情况如下：

空闲块总是需要脚部的。

十二、实现简单的分配器

注意：

•   序言块和结尾块：序言块是初始化时创建的，而且永不释放；结尾块是一个特殊的块，总是以它为结束。
•   有一个技巧，就是将重复使用的，操作复杂又有重复性的，这些可以定义成宏，方便使用也方便修改。
•   需要注意强制类型转换，尤其是带指针的，非常复杂。
•   因为规定了字节对齐方式为双字，就代表块的大小是双字的整数倍，不是的舍入到是。

十三、显式空闲链表

1. 区别

（1）分配时间

隐式的，分配时间是块总数的线性时间
但是显式的，是空闲块数量的线性时间。

（2）链表形式

隐式——隐式空闲链表
显式——双向链表，有前驱和后继，比头部脚部好使。

1. 排序策略：

   •   后进先出
   •   按照地址顺序维护

十四、分离的空闲链表

1. 分离存储，是一种流行的减少分配时间的方法。一般思路是将所有可能的块大小分成一些等价类/大小类。

2. 分配器维护着一个空闲链表数组，每个大小类一个空闲链表，按照大小的升序排列。

3. 有两种基本方法：

   1.简单分离存储

   每个大小类的空闲链表包含大小相等的块，每个块的大小就是这个大小类中最大元素的大小。

（1）操作

如果链表非空：分配其中第一块的全部
如果链表为空：分配器向操作系统请求一个固定大小的额外存储器片，将这个片分成大小相等的块，并且连接起来成为新的空闲链表。

（2）优缺点

优点：时间快，开销小
缺点：容易造成内部、外部碎片

2.分离适配

每个空闲链表是和一个大小类相关联的，并且被组织成某种类型的显示或隐式链表，每个链表包含潜在的大小不同的块，这些块的大小是大小类的成员。
这种方法快速并且对存储器使用很有效率。

3.伙伴系统——分离适配的特例

其中每个大小类都是2的幂
这样，给定地址和块的大小，很容易计算出它的伙伴的地址，也就是说：一个块的地址和它的伙伴的地址只有一位不同。
优点：快速检索，快速合并。

9．10 垃圾收集

垃圾收集器是一种动态存储分配器，它自动释放程序不再需要的已分配块，这些块被称为垃圾，自动回收堆存储的过程叫做垃圾收集。

一、基本知识

垃圾收集器将存储器视作一张有向可达图，只有当存在一条从任意根节点出发并到达p的有向路径时，才说节点p是可达的，而不可达点就是垃圾。

二、Mark&Sweep垃圾收集器

1. 有两个阶段：

    •  标记：标记出根节点的所有可达的和已分配的后继
    •  清楚：释放每个未被标记的已分配块。

2. 相关函数：

   ptr定义为typedef void *ptr

    •  ptr isPtr(ptr p)：如果p指向一个已分配块中的某个字，那么就返回一个指向这个块的起始位置的指针b，否则返回NULL
    •  int blockMarked(ptr b)：如果已经标记了块b，那么就返回true
    •  int blockAllocated(ptr b)：如果块b是已分配的，那么久返回ture
    •  void markBlock(ptr b)：标记块b
    •  int length(ptr b)：返回块b的以字为单位的长度，不包括头部
    •  void unmarkBlock(ptr b)：将块b的状态由已标记的改为未标记的
    •  ptr nextBlock(ptr b)：返回堆中块b的后继

三、C保守的Mark&Sweep

——平衡二叉树

C的Mark&Sweep收集器必须是保守的，根本原因是C语言不会用类型标记来标记存储器位置。

9．11 C程序中常见的与存储器有关的错误

1. 间接引用坏指针

   常见错误——scanf错误

2. 读未初始化的存储器

   常见错误——假设堆存储器被初始化为0

3. 允许栈缓冲区溢出

   常见错误——缓冲区溢出错误

4. 假设指针和它们指向的对象是相同大小的

   在远处起作用action at distance

5. 造成错位错误

6. 引用指针，而不是它所指向的对象

7. 误解指针运算

8. 引用不存在的变量

9. 引用空堆块中的数据

10. 引起存储器泄露