2017-2018-1 20155219 《信息安全系统设计基础》第十一周学习总结

教材学习内容总结

虚拟存储器是计算机系统最重要的概念之一。

虚拟存储器（Virtual Memory），是硬件异常，硬件地址翻译，主存，磁盘文件和内核软件的完善交互，它为每个进程提供一个大的，一致的，私有地址空间。通过一个清晰的机制，虚拟存储器提供了三个要重的能力：

  • 它将主存看成是一个存储在磁盘上的地址空间的高速缓存，在主存中只保存活动区域，并根据需要在磁盘和主存之间来回传送数据，通过这种方式，高效的使用了主存
  • 它为每个进程提供了一致的地址空间，从而简化了存储器管理
  • 它保护了每个进程的地址空间不被其他进程破坏

1.物理和虚拟寻址

1.计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组。每字节都有一个惟一的物理地址。
image
2.早期的PC使用物理寻址，而且诸如数字信号处理器，嵌入式微控制器以及Cray超级计算机这样的系统仍然继续使用这种寻址方式。而为通用计算机设计师的现代处理器使用的是虚拟寻址。使用虚拟寻址时，CPU通过生成一个虚拟地址来访问主存，这个虚拟地址在被送到存储器之前先转换成适当的物理地址（这个过程叫做地址翻译，相关硬件为存储器管理单元MMU）
image

2 地址空间

1.地址空间是一个非负整数地址的有序集合：｛0，1，2，...｝，如果地址是连续的，则称为线性地址空间。如果计算机有n位地址总线，在一个带有虚拟存储器的系统中，CPU从一个有N = 2n个地址的地址空间中生成虚拟地址，这个地址称为虚拟地址空间：｛0，1，2，...,N-1｝

2.一个地址空间的大小是由表示最大地址所需要的位数来描述的。例如：N=2^n：n位地址空间

3.一个系统还有一个物理地址空间，它与系统中物理存储器的M个字节相对应：｛0，1，2，...M-1｝。M不要求是2的幂。

4.主存中的每个字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

3 虚拟存储器作为缓存的工具

概念上言，虚拟存储器被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组。每字节都有一个惟一的虚拟地址，这个惟一的虚拟地址是作为到数组的索引的。磁盘上数组的内容被缓存到主存中。和存储器层次结构中其他缓存一样，磁盘（较低层）上的数据被分成块，这些块作为磁盘和主存（较高层）之间的传输单元。VM系统通过将虚拟存储器分割成称为虚拟页（virtual page,VP）的大小固定的块，来处理这个问题。每个虚拟页的大小为P = 2p字节。类似地，物理存储器被分割成物理页（physical page,PP），大小也为P字节（物理页也被称为页帧，page frame）。

在任意时刻，虚拟页面的集合都被分为三个不相交的子集：

  • 未分配的：VM系统还没分配/创建的页，不占用任何磁盘空间。
  • 缓存的：当前缓存在物理存储器中的已分配页
  • 未缓存的：没有缓存在物理存储器中的已分配页

image

1.DRAM缓存的组织结构
  • 不命中处罚很大
  • 是全相联的——任何虚拟页都可以放在任何的物理页中。
  • 替换算法精密
  • 总是使用写回而不是直写。
2.页表

存放在物理存储器一个数据结构，叫做页表（page table）。页表将虚拟页映射到物理页。

页表就是一个PTE（page table entry，页表条目）的数组。虚拟地址空间中的每个页在页表中的一个固定偏移量处都有一个PTE。

NULL：未分配。
VP3，VP5：已分配，但是还未被缓存。
VP1：已分配，已缓存。

image

3.页命中
  • 缺页：就是指DRAM缓存不命中。
  • 缺页异常：会调用内核中的缺页异常处理程序，选择一个牺牲页。
  • 页：虚拟存储器的习惯说法，就是块
  • 交换=页面调度：磁盘和存储器之间传送页的活动
  • 按需页面调度：直到发生不命中时才换入页面的策略，所有现代系统都使用这个。
4.缺页

DRAM缓存不命中称为缺页。

局部性原则保证了在任意时刻，程序将往往在一个较小的活动页面集合上工作，这个集合叫做工作集/常驻集。

颠簸：工作集大小超出了物理存储器的大小。

4 虚拟存储器作为存储器管理的工具

image

  • 操作系统为每个进程提供了一个独立的页表，也就是一个独立的虚拟地址空间。
  • 多个虚拟页面可以映射到同一个共享物理页面上。
  • 存储器映射：将一组连续的虚拟页映射到任意一个文件中的任意位置的表示法。

VM简化了链接和加载、代码和数据共享，以及应用程序的存储器分配。

5 虚拟存储器作为存储器保护的工具

image

PTE的三个许可位：

  • SUP：表示进程是否必须运行在内核模式下才能访问该页
  • READ：读权限
  • WRITE：写权限

6 地址翻译

image
1.地址翻译

地址翻译是一个N元素的虚拟地址空间（VAS）中的元素和一个M元素的物理地址空间（PAS）中元素之间的映射。

2.页表基址寄存器

CPU中的一个控制寄存器，叫做页表基址寄存器（page table base register,PTBR）指向当前页表。N位的虚拟地址包含两个部分：一个p位的VPO（virtual page offset,虚拟页面偏移）和一个n-p位的VPN（virtual page number）。MMU利用VPN来选择适当的PTE。如VPN0选择PTE0。因为物理和虚拟页面都是p字节的，所以PPO（physical page offset物理页面偏移）和VPO是相同的，所以，将页表条目中PPN（physical page number,物理页号）和虚拟地址中的VPO串联起来，就是相应的物理地址。

image

3.页面命中完全由硬件处理的，而处理缺页要求硬件和OS内核协作完成。

4.结合高速缓存和虚拟存储器

大多数系统是选择物理寻址的方式来访问高速缓存。使用物理寻址，多个进程同时在高速缓存中有存储块和共享来自相同虚拟页面的块成为简单的事情。而且，高速缓存无需处理保护的问题，因为访问权限的检查是地址翻译过程中一部分。

5.利用TLB加速地址翻译

在MMU中包括一个关于PTE的小的缓存，称为TLB。TLB是一个小的，虚拟寻址的缓存，其中每一行都保存着一个由单个PTE组成的块。

image
image

6.多级页表

多级页表——采用层次结构，用来压缩页表。

（1）以两层页表层次结构为例，好处是：
如果一级页表中的一个PTE是空的，那么相应的二级页表就根本不会存在
只有一级页表才需要总是在主存中，虚拟存储器系统可以在需要时创建、页面调入或调出二级页表，只有最经常使用的二级页表才缓存在主存中。
（2）多级页表的地址翻译：

image

教材学习中的问题和解决过程

  • 问题1：为什么要使用动态存储器分配
  • 问题1解决方案：因为经常知道程序实际运行时，它们才知道某些数据结构的大小。
  • 问题2：分配器的要求和目标是什么：
  • 问题2解决方案：

约束条件

• 处理任意请求序列
• 立即响应请求
• 只使用堆
• 对齐块
• 不修改已分配的块
目标：

• 最大化吞吐率（吞吐率：每个单位时间里完成的请求数）
• 最大化存储器利用率——峰值利用率最大化

代码调试中的问题和解决过程

  • 问题1：
  • 问题1解决方案：

代码托管

其他（感悟、思考等，可选）

本次学习过程总体来说较上一次轻松，因为概念性知识点并不晦涩，而代码部分也并不困难。同时，本章节各部分之间的联系性增强，只要好好阅读课本，课本上练习题都不是问题，基本上都有公式。

学习进度条

代码行数（新增/累积） 博客量（新增/累积） 学习时间（新增/累积） 重要成长
目标 5000行 30篇 400小时
第一周 200/200 2/2 20/20 了解计算机系统、静态链接与动态链接
第三周 300/500 2/4 18/38 深入学习计算机算术运算的特性
第四周 500/1000 3/7 22/60 掌握程序崩溃处理、Linux系统编程等知识，利用所学知识优化myod，并实现head和tail命令
第五周 300/1300 2/9 10/70 掌握“进程”的概念，并学习应用相关函数；了解程序如何在机器上表示
第六周 500/1869 4/11 14/84 学习了异常控制流
第七周 380/2290 2/13 14/98 学习了Y86模拟器及相关知识
第八周 400/2690 2/15 12/110 学习了网络编程、并发、进程、多线程
第九周 500/3190 2/17 18/128 了解了常见的存储技术（RAM、ROM、磁盘、固态硬盘等）
尝试一下记录「计划学习时间」和「实际学习时间」，到期末看看能不能改进自己的计划能力。这个工作学习中很重要，也很有用。
耗时估计的公式
：Y=X+X/N ，Y=X-X/N，训练次数多了，X、Y就接近了。

参考：软件工程软件的估计为什么这么难，软件工程 估计方法

  • 计划学习时间:16小时

  • 实际学习时间:18小时

  • 改进情况：

(有空多看看现代软件工程 课件
软件工程师能力自我评价表)

参考资料