第三章 内存管理
3.1 内存管理概念
3.1.1 内存管理的基本概念
内存管理的功能
- 内存空间的分配和回收
- 地址转换 : 提供地址变换功能,将逻辑地址转换成相应的物理地址。
- 存储保护 : 保证各个进程在各自的存储空间内运行,互不干扰。
逻辑地址空间和物理地址空间
逻辑地址:程序给出的地址(相对地址)
物理地址:程序加载到的不同的存储单元(绝对地址)
- 编译后有相对地址(逻辑地址)
- 链接后形成逻辑地址空间
- 装入后形成物理地址空间,装入程序通过将逻辑地址转换为物理地址,这个过程称为地址重定位
- 操作系统通过内存管理部件(MMU)将进程使用的逻辑地址转换为物理地址。
程序的链接与装入
- 编辑源代码文件
- 编译:由编译程序将用户源代码编译成若干目标模块
- 链接:由目标模块生成装入模块,链接后形成完整的逻辑地址
- 装入:将装入模块装入内存,装入后形成物理地址
链接
- 静态链接(装入前链接成一个完整装入模块)
在程序运行之前,先将各目标模块及它们所需的库函数链接成一个完整的装入模块,以后不再拆开。将几个目标模块装配成一个装入模块时,需要解决两个问题:- ①修改相对地址,编译后的所有目标模块都是从0开始的相对地址,当链接成一个装入模块时要修改相对地址。
- ②变换外部调用符号,将每个模块中所用的外部调用符号也都变换为相对地址。
- 装入时动态链接(运行前边装入边链接)
将用户源程序编译后所得到的一组目标模块,在装入内存时,采用边装入边链接的方式。其优点是便于修改和更新,便于实现对目标模块的共享。 - 运行时动态链接(运行时需要目标模块才能装入并链接)
在程序执行中需要某目标模块时,才对它进行链接。凡在程序执行中未用到的目标模块,都不会被调入内存和链接到装入模块上。其优点是能加快程序的装入过程,还可节省内存空间。
装入(地址变换)
适用于静态重定位 : 单一连续分配, 固定分区分配
适用于动态重定位 : 页/段式存储管理,动态分区分配,页/段式虚拟存储器管理
- 绝对装入(编译时产生绝对地址)
- 在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存
- 绝对装入只适用于单道程序环境
- 程序中使用的绝对地址,可在编译或汇编时给出,也可由程序员直接赋予。而通常情况下在程序中采用的是符号地址,编译或汇编时再转换为绝对地址。
- 静态重定位/可重定位装入(装入时将逻辑地址转换为物理地址)
- 进程数据一旦确定位置,就不能再移动
- 编译、链接后的装入模块的地址都是从0开始的指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)
- 重定位:装入时对目标程序中的指令和数据的修改过程
- 特点
- 是在一个作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该作业。
- 作业一旦进入内存后,在运行期间就不能再移动,也不能再申请内存空间
- 动态重定位/动态运行时装入(运行时将逻辑地址转换为物理地址, 需设置定位寄存器)
- 重定位寄存器:存放装入模块存放的起始位置
- 特点
- 可将程序分配到不连续的存储区中
- 在程序运行前只需装入它的部分代码即可投入运行,然后在程序运行期间,根据需要动态申请分配内存;
- 便于程序段的共享,可以向用户提供一个比存储空间大得多的地址空间。
内存共享
- 并不是所有的进程内存空间都适合共享,只有那些只读的区域才可以共享。
- 可重入代码(纯代码),是一种允许多个进程同时访问但不允许被任何进程修改的代码
- 但在实际执行时,也可以为每个进程配以局部数据区,将在执行中可能改变的部分复制到该数据区,这样,程序在执行时只需对该私有数据区中的内存进行修改,并不去改变共享的代码。
- 下面通过一个例子来说明内存共享的实现方式。
考虑一个可以同时容纳 40 个用户的多用户系统,他们同时执行一个文本编辑程序,若该程序有 160 KB 代码区和 40 KB 数据区,则共需 8000 KB 的内存空间来支持 40 个用户。
若 160 KB 代码是可分享的纯代码,则不论是在分页系统中还是在分段系统中,整个系统只需保留一份副本即可,此时所需的内存空间仅为 。对于分页系统,假设页面大小为 4 KB, 则代码区占用 40 个页面、数据区占用 10 个页面。为实现代码共享,应在每个进程的页表中都建立 40 个页表项,它们都指向共享代码区的物理页号。此外,每个进程还要为自己的数据区建立 10 个页表项,指向私有数据区的物理页号。
对于分段系统,由于是以段为分配单位的,不管该段有多大,都只需为该段设置一个段表项 (指向共享代码段始址,以及段长 160 KB)。由此可见,段的共享非常简单易行。
内存保护
内存保护可采取两种方法
- 在CPU中设置一对上、下限寄存器,存放进程的上、下限地址。进程的指令要访问某个地址时,CPU检查是否越界
- 采用重定位寄存器(又称基址寄存器)和界地址寄存器(又称限长寄存器)进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址。
- 加载重定位寄存器和界地址寄存器时必须使用特权指令,只有操作系统内核才可以加载这两个存储器。
进程的内存映像
3.1.2 连续分配管理方式
连续分配:指为用户进程分配的必须是一个连续的内存空间。
单一连续分配
- 在单一连续分配方式中,内存被分为系统区和用户区。
- 系统区通常位于内存的低地址部分,用于存放操作系统相关数据;
用户区用于存放用户进程相关数据。 - 内存中只能有一道用户程序,用户程序独占整个用户区空间。
- 优点:
- 实现简单;无外部碎片;
- 可以采用覆盖技术扩充内存;
- 不一定需要采取内存保护(eg:早期的 PC 操作系统 MS-DOS)。
固定分区分配
分区大小可以不同
将整个用户空间划分为若干个固定大小的分区,在每个分区中只装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。
- 分区大小相等
缺乏灵活性,但是很适合用于用一台计算机控制多个相同对象的场合(比如:钢铁厂有n个相同的炼钢炉,就可把内存分为n个大小相等的区域存放n个炼钢炉控制程序) - 分区大小不等
增加了灵活性,可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分(比如:划分多个小分区、适量中等分区、少量大分区) - 分区说明表
- 操作系统需要建立一个数据结构--分区说明表,来实现分区的分配和回收,每个表项对应一个分区,通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态(是否已分配)。
- 当某用户程序要装入内存时,由操作系统内核程序根据用户程序大小检索该表,从中找到一个能满足大小的、未分配的分区,将之分配给该程序,然后修改状态为“已分配”。
- 优点
实现简单,无外部碎片。 - 缺点
- 当用户程序太大时,可能所有的分区都不能满足需求,此时不得不采用覆盖技术来解决,但这又会降低性能
- 会产生内部碎片,内存利用率低。
动态分区分配/可变分区分配
这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。
- 记录内存的使用情况
- 空闲分区表
每个空闲分区对应一个表项。表项中包含分区号、分区大小、分区起始地址等信息
注:各表项的顺序不一定按照地址递增顺序排列,具体的排列方式需要依据动态分区分配算法来确定。 - 空闲分区链
每个分区的起始部分和末尾部分分别设置前向指针和后向指针。起始部分处还可记录分区大小等信息
- 空闲分区表
- 分区的分配与回收
- 分区的回收
情况一:回收区的后面有一个相邻的空闲分区, 两个相邻的空闲分区合并为一个
情况二:回收区的前面有一个相邻的空闲分区, 两个相邻的空闲分区合并为一个
情况三:回收区的前、后各有一个相邻的空闲分区, 三个相邻的空闲分区合并为一个
情况四:回收区的前、后都没有相邻的空闲分区, 新增一个表项
- 分区的回收
- 动态分区分配没有内部碎片,但是有外部碎片。
- 内部碎片和外部碎片
- 内部碎片(开始分配过多)
分配给某进程的内存区域中,有些部分没有用上 - 外部碎片(反复交换产生的)
是指内存中的某些空闲分区由于太小而难以利用。
可以通过紧凑(时不时移动和整理进程)(拼凑,Compaction)技术来解决外部碎片
- 内部碎片(开始分配过多)
动态分区分配算法
综合来看,四种算法中,首次适应算法的效果反而更好
- 首次适应算法
- 算法思想
每次都从低地址开始查找,找到第一个能满足大小的空闲分区 - 如何实现
空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
- 算法思想
- 最佳适应算法
- 算法思想
由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。 - 如何实现
如何实现:空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。 - 缺点
每次都选最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。(每次都要排序)
- 算法思想
- 最大适应算法(Largest Fit)
- 算法思想
为了解决最佳适应算法的问题——即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。 - 如何实现
空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。 - 缺点
每次都选最大的分区进行分配,虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了。
- 算法思想
- 邻近适应算法/循环首次适应算法
- 算法思想
首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。 - 如何实现
空闲分区以地址递增的顺序排列(可排成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。 - 缺点
会使高地址的大分区也被用完
- 算法思想
- 四种算法的对比
3.1.3 非连续分配方式
页面和段都是用来组织和管理代码或数据的
基本分页管理方式
页面和页框
将内存空间分为一个个大小相等的分区(比如:每个分区4KB),每个分区就是一个“页框”(页框 = 页帧 = 内存块 = 物理块 = 物理页面)。每个页框有一个编号,即“页框号”(页框号 = 页帧号 = 内存块号 = 物理块号 = 物理页号),页框号从0开始。
将进程的逻辑地址空间也分为与页框大小相等的一个个部分, 每个部分称为以一个“页”或“页面” 。每个页面也有一个编号,即“页号”,页号也是从从0开始的
操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应的关系。各个页面不必连续存放,可以放到不相邻的各个页框中。
我们确定页面大小才能划分 CPU 地址结构
-
页面大小取决于 CPU 架构以及操作系统
CPU 架构 硬件层面决定了可以支持哪些页面大小
操作系统 在 CPU 架构支持的页面大小中选定一种页面大小 -
对比
- 页、页面 vs 页框、页帧、物理页
- 页号、页面号 vs 页框号、页帧号、物理页号
进程的最后一个页面可能没有一个页框那么大。也就是说,分页存储有可能产生内部碎片,因此页框不能太大,否则可能产生过大的内部碎片造成浪费)
为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表。页表通常存在PCB(进程控制块)中。
页表
是内核数据结构,由操作系统在程序装入内存时建立的
在系统中设置一个页表寄存器 (PTR), 存放页表在内存的始址 F 和页表长度 M。
由于寄存器的造价昂贵,因此在单 CPU 系统中只设置一个页表寄存器。
平时,进程未执行时,页表的始址和页表长度存放在本进程的 PCB 中,当进程被调度执行时,才将页表始址和页表长度装入页表寄存器中。
- 一个进程对应一张页表
- 进程的每个页面对应一个页表项
- 每个页表项由“页号”和“块号”**组成
- 页表记录进程页面和实际存放的内存块之间的映射关系
- 每个页表项的长度是相同的
每个页表项占多少字节?
- Eg:假设某系统物理内存大小为 4GB,页面大小为4KB,则每个页表项至少应该为多少字节?
- 内存块大小 = 页面大小 = 4KB =
B
4GB 的内存总共会被分为 / = 个内存块
内存块号的范围应该是 0 ~
内存块号至少要用 20 bit 来表示
至少要用3B来表示块号(3 * 8 = 24bit)
- 内存块大小 = 页面大小 = 4KB =
- 假设页表中的各页表项从内存地址为 X 的地方开始连续存放…如何找到页号为 i 的页表项?
- i 号页表项的存放地址= X + 3 * I
因此,页表中的页号可以是隐含的,即页号不占用存储空间
- i 号页表项的存放地址= X + 3 * I
如何实现地址的转换?
页式管理地址是一维的,即,只要给出逻辑地址,系统可以自动计算出页号以及页内偏移量两个部分,并不需要显式系统这个逻辑地址中,页内偏移量占多少位
-
如何确定一个逻辑地址对应的页号、页内偏移量?
Eg:在某计算机系统中,页面大小是50B。某进程逻辑地址空间大小为200B,则逻辑地址 110 对应的页号、页内偏移量是多少?页号= 逻辑地址/ 页面长度(取除法的整数部分)
页内偏移量= 逻辑地址% 页面长度(取除法的余数部分)页号 = 110 / 50 = 2
页内偏移量= 110 % 50 = 10 -
逻辑地址可以拆分为(页号,页内偏移量)
通过页号查询页表,可知页面在内存中的起始地址
页面在内存中的起始地址 + 页内偏移量 = 实际的物理地址- 如果有 K 位表示“页内偏移量”,则说明该系统中一个页面的大小是
个内存单元 - 如果有 M 位表示“页号”,则说明在该系统中,一个进程最多允许有
个页面
- 如果有 K 位表示“页内偏移量”,则说明该系统中一个页面的大小是
-
页面大小刚好是 2 的整数幂有什么好处?
- 逻辑地址的拆分更加迅速
如果每个页面大小为 2KB,用二进制数表示逻辑地址,则末尾K 位即为页内偏移量,其余部分就是页号。因此,如果让每个页面的大小为 2 的整数幂,计算机硬件就可以很方便地得出一个逻辑地址对应的页号和页内偏移量,而无需进行除法运算,从而提升了运行速度。 - 物理地址的计算更加迅速
根据逻辑地址得到页号,根据页号查询页表从而找到页面存放的内存块号,将二进制表示的内存块号和页内偏移量拼接起来,就可以得到最终的物理地址。
- 逻辑地址的拆分更加迅速
基本地址变换机构
-
页表寄存器(PTR)
通常会在系统中设置一个页表寄存器(PTR),存放页表在内存中的起始地址 F 和页表长度 M。进程未执行时,页表的始址和页表长度放在进程控制块(PCB)中,当进程被调度时,操作系内核会把它们放到页表寄存器中。在页式存储管理中,CPU 将虚拟地址分解为页号和页内偏移量,然后通过硬件中的页表寄存器和内存管理单元 (MMU), 将页号转换为物理地址,再拼接上页内偏移量,得到最终的内存物理地址。这一过程是由硬件自动完成的,不需要操作系统或其他软件的干预。
- 地址变换过程
①根据逻辑地址计算出页号 P = A / L、页内偏移量 W = A。
② 判断页号是否越界,若页号 P ≥ 页表长度 M ,则产生越界中断,否则继续执行。
③在页表中查询页号对应的页表项,确定页面存放的物理块号。页号 P 对应的页表项地址 = 页表始址 F + 页号 P×页表项长度,取出该页表项内容 b ,即为物理块号。
④计算物理地址 E = b × L + W,用物理地址 E 去访存。注意,物理地址 = 页面在内存中的始址 + 页内偏移量,页面在内存中的始址 = 块号 × 块大小(页面大小)。
以上整个地址变换过程均是由硬件自动完成的
- 常常会让一个页表项占更多的字节,使得每个页面恰好可以装得下整数个页表项。
具有快表的地址变换机构
- 快表
快表,又称相联寄存器(TLB, translation lookaside buffer ),是一种访问速度比内存快很多的高速缓存(TLB不是内存!),用来存放最近访问的页表项的副本,可以加速地址变换的速度。与此对应,内存中的页表常称为慢表。
- 引入快表后,地址的变换过程
- CPU 给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。
- 如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表命中,则访问某个逻辑地址仅需一次访存即可。
- 如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存(注意:在找到页表项后,应同时将其存入快表,以便后面可能的再次访问。但若快表已满,则必须按照一定的算法对旧的页表项进行替换)
- 例:某系统使用基本分页存储管理,并采用了具有快表的地址变换机构。访问一次快表耗时 1us,访问一次内存耗时 100us。若快表的命中率为 90%,那么访问一个逻辑地址的平均耗时是多少?
有的系统支持快表和慢表同时查找,如果这样,平均耗时是
若未采用快表机制,则访问一个逻辑地址需要
显然,引入快表机制后,访问一个逻辑地址的速度快多了。
- TLB 和普通Cache 的区别
TLB 中只有页表项的副本,而普通Cache 中可能会有其他各种数据的副本
两级页表
- 单级页表存在的问题
- 问题一:页表必须连续存放,因此当页表很大时,需要占用很多个连续的页框
- 问题二:没有必要让整个页表常驻内存,因为进程在一段时间内可能只需要访问某几个特定的页面。
- 针对问题一
- 把页表再分页并离散存储,然后再建立一张页表记录页表各个部分的存放位置,称为页目录表,或称外层页表,或称顶层页表
- 地址结构
一级页号(页目录号)+二级页号+页内偏移量
- 针对问题二
- 可以在需要访问页面时才把页面调入内存(虚拟存储技术)。可以在页表项中增加一个标志位,用于表示该页面是否已经调入内存
- 若想访问的页面不在内存中,则产生缺页中断(内中断/异常),然后将目标页面从外存调入内存
- 若分为两级页表后,页表依然很长,则可以采用更多级页表,拿一张页面全放某级页表的页表项,所以一般来说各级页表的大小不能超过一个页面
- 两级页表的访存次数(假设没有快表机构)
第一次访存:访问内存中的页目录表
第二次访存:访问内存中的二级页表
第三次访存:访问目标内存单元
基本分段存储管理方式
进程的地址空间按照程序自身的逻辑关系划分为若干个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址
段其实是一段代码或者数据,一个程序如何分段是在用户编程时就决定了,用户会写下多个段名,由编译程序将段名转换为段号
内存分配规则以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻。
地址结构 : 段号+段内地址
- 段号的位数决定了每个进程最多可以分几个段
- 段内地址位数决定了每个段的最大长度是多少
段表
不管进程有多少个段,系统都为每个进程建立一张段表,每个段表项对应进程中的一段。
程序分多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。为此,需为每个进程建立一张段映射表,简称“段表”。
每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称“基址”)和段的长度。
各个段表项的长度是相同的,因此段号可以隐含。
地址变换过程
分段对用户是可见的,程序员编程时要显式地给出段号和段内地址,所以分段式管理地址结构是二维的
页式管理是一维的原因是,页式管理地址连续,而段式管理地址不连续,所以是二维的
可重入代码
- 不能被修改的代码称为纯代码或可重入代码(不属于临界资源),这样的代码是可以共享的。
- 可修改的代码是不能共享的(比如,有一个代码段中有很多变量,各进程并发地同时访问可能造成数据不一致)
分段与分页的比较
- 页是信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。
段是信息的逻辑(“用户地址”)单位。分段的主要目的是更好地满足用户需求 - 分页仅仅是系统管理上的需要,完全是系统行为,对用户是 不可见(透明) 的。
一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的(不透明),用户编程时需要显式地给出段名。 - 页的大小固定且由系统决定。
段的长度却不固定,决定于用户编写的程序。 - 分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。
分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。 - 分段比分页更容易实现信息的共享和保护
- 一个程序如何分页是在装入作业时决定的
一个程序如何分段是在用户编程时决定的
分页、分段的优缺点分析
- 分页
- 优点 : 内存空间利用率高,不会产生外部碎片,只会产生少量页内碎片
- 缺点 : 不方便按照逻辑模块实现信息的共享和保护
- 分段
- 优点 : 很方便按照逻辑模块实现信息的共享和保护
- 缺点 : 如果段长过大,为其分配很大的连续空间会很不方便。另外,段式管理会产生外部碎片
段页式管理方式
将进程按逻辑模块分段,再将各段分页(如每个页面4KB)再将内存空间分为大小相同的内存块/页框/页帧/物理块面分别装入各内存块中
逻辑地址结构
- 段号+页号+页内偏移量
- 段号的位数决定了每个进程最多可以分几个段
- 页号位数决定了每个段最大有多少页
- 页内偏移量决定了页面大小、内存块大小是多少
- 分段对用户是可见的,程序员编程时要显式地给出段号和段内地址,而将各段分页对用户是不可见的,系统会根据段内地址自动划分页号和页内偏移量,因此段页式管理的地址结构是二维的。
段表、页表
每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。
每个页面对应一个页表项,每个页表项由页号、页面存放的内存块号组成。每个页表项长度相等,页号是隐含的。
地址转换过程
3.2 虚拟内存管理
3.2.1虚拟内存的基本概念
传统存储管理方式的特征、缺点
传统存储管理方式:单一连续分配、固定分区分配、动态分区分配/可变分区分配、基本分页管理方式、基本分段存储管理方式、段页式管理方式
- 一次性:作业必须一次性全部装入内存后才能开始运行。
缺点:- 作业很大时,不能全部装入内存,导致大作业无法运行;
- 当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降。
- 驻留性:一旦作业被装入内存,就会一直驻留在内存中,直至作业运行结束。
缺点:- 导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。
局部性原理
- 时间局部性
如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环) - 空间局部性
一旦程序访问了某个存储单元,在不久之后,其附近的存储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的,并且程序的指令也是顺序地在内存中存放的) - 高速缓存的思想
将近期会频繁访问到的数据放到更高速的存储器中,暂时用不到的数据放在更低速存储器中。
虚拟内存的定义和特征
基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存,就可以让程序开始执行。
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序(请求调页/段)。
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。(页面/段置换)
之所以将其称为虚拟存储器,是因为这种存储器实际上并不存在,只是由于系统提供了部分装入、请求调入和置换功能后 (均对用户透明/不可见), 给用户的感觉是好像存在一个比实际物理内存大得多的存储器。
- 虚拟内存的最大容量
是由计算机的地址结构(CPU寻址范围)确定的 - 虚拟内存的实际容量
虚拟内存的实际容量= min(内存和外存容量之和,CPU寻址范围) - 虚拟内存的主要特征
- 多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。
- 对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。
- 虚拟性:从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量
虚拟内存技术的实现
虚拟内存的实现需要建立在离散分配的内存管理方式基础上
- 请求分页存储管理
- 请求分段存储管理
- 请求段页式存储管理
不管哪种方式,都需要有一定的硬件支持。一般需要的支持有以下几个方面: - 一定容量的内存和外存。
- 页表机制(或段表机制),作为主要的数据结构。
- 中断机构,当用户程序要访问的部分尚未调入内存时,则产生中断。
- 地址变换机构,逻辑地址到物理地址的变换。
3.2.2 请求分页管理方式
页面换入换出发生在内存与磁盘之间
请求分页存储管理与基本分页存储管理的主要区别是为支持虚拟存储器功能而增加了请求调页和页面置换功能:
- 在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。
- 若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。
为了实现请求分页,系统必须提供一定的硬件支持。除了需要一定容量的内存及外存的计算机系统,还需要有页表机制、缺页中断机构和地址变换机构。
页表机制
请求页表增加了四个字段:
- 状态位(有效位,合法位)P:是否已调入内存
- 访问字段A:可记录最近被访问过几次,或记录上次访问的时间,供置换算法选择换出页面时参考
- 修改位(脏位)M:页面调入内存后是否被修改过
- 外存地址:页面在外存中的存放位置
缺页中断机构
- 当访问的页面不在内存时(一定是先产生缺页中断,再进行下面的操作)
- 产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。此时缺页的进程阻塞,放入阻塞队列,调页完成后再将其唤醒,放回就绪队列。
- 如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项。
- 如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则要将其写回外存。未修改过的页面不用写回外存。(缺页中断
决定淘汰页 页面调出 页面调入)
- 缺页中断与一般中断的区别(缺⻚中断是异常,也叫⻚故障)
- 缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的,因此属于内中断
- 一条指令在执行期间,可能产生多次缺页中断。(如:copy A to B,即将逻辑地址 A 中的数据复制到逻辑地址 B,而 A 、B 属于不同的页面并两页面都没调入内存,则有可能产生两次中断)
地址变换机构
请求分页的地址变换过程:
①只有“写指令”才需要修改“修改位”。并且,一般来说只需修改快表中的数据,只有要将快表项删除时才需要写回内存中的慢表。这样可以减少访存次数。
②和普通的中断处理一样,缺页中断处理依然需要保留CPU现场。
③需要用某种“页面置换算法”来决定一个换出页面
④换入/换出页面都需要启动慢速的I/O操作,可见,如果换入/换出太频繁,会有很大的开销
⑤页面调入内存后,需要修改慢表,同时也需要将表项复制到快表中。
在具有快表机构的请求分页系统中,访问一个逻辑地址时,若发生缺页,则地址变换步骤是:
查快表(未命中)
3.2.3 页面分配策略
驻留集与分配策略
驻留集 :
1. 指请求分页存储管理中给进程分配的物理块的集合
2. 驻留集是进程已装入内存的页面的集合
3. 驻留集指的是一个进程当前实际驻留在物理内存中的页面集合
驻留集越小,驻留在内存中的进程就越多,可以提高多道程序的并发度,但分配给每个进程的页框太少,会导致缺页率较高,CPU 需耗费大量时间来处理缺页。
驻留集越大,当分配给进程的页框超过某个数目时,再为进程增加页框对缺页率的改善是不明显的,反而只能是浪费内存空间,还会导致多道程序并发度的下降。
- 分配方式
- 固定分配
操作系统为每个进程分配一组固定数目的物理块,在进程运行期间不再改变。即,驻留集大小不变
采用固定分配策略时,将系统中的空闲物理块分配给各个进程,可采用下述几种算法。- 平均分配算法,将系统中所有可供分配的物理块平均分配给各个进程。
- 按比例分配算法,根据进程的大小按比例分配物理块。
- 优先权分配算法,为重要和紧迫的进程分配较多的物理块。通常采取的方法是将所有可分配的物理块分成两部分:一部分按比例分配给各个进程;一部分则根据优先权分配。
- 可变分配
先为每个进程分配一定数目的物理块,在进程运行期间,可根据情况做适当的增加或减少。即,驻留集大小可变
- 固定分配
- 置换方式
- 局部置换
发生缺页时只能选进程自己的物理块进行置换。 - 全局置换
可以将操作系统保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换到外存,再分配给缺页进程。
- 局部置换
- 置换策略
- 固定分配局部置换
- 系统为每个进程分配一定数量的物理块,在整个运行期间都不改变。若进程在运行中发生缺页,则只能从该进程在内存中的页面中选出一页换出,然后再调入需要的页面。
- 缺点 : 很难在刚开始就确定应为每个进程分配多少个物理块才算合理。(采用这种策略的系统可以根据进程大小、优先级、或是根据程序员给出的参数来确定为一个进程分配的内存块数)
- 可变分配全局置换
- 刚开始会为每个进程分配一定数量的物理块。操作系统会保持一个空闲物理块队列。当某进程发生缺页时,从空闲物理块中取出一块分配给该进程;若已无空闲物理块,则可选择一个未锁定(操作系统可将内核数据锁定)的页面换出外存,再将该物理块分配给缺页的进程。
- 缺点 : 盲目地给进程增加物理块,从而导致系统多道程序的并发能力下降
- 可变分配局部置换
- 进程发生缺页时,只允许从该进程在内存的页面选出一页换出外存。如果进程在运行中频繁地缺页,系统会为该进程多分配几个物理块,直至该进程缺页率趋势适当程度;反之,如果进程在运行中缺页率特别低,则可适当减少分配给该进程的物理块。
- 缺点:需要更复杂的实现,需要更大的开销,但对比频繁地换入/换出所浪费的计算机资源,这种牺牲是值得的。
- 固定分配局部置换
调入页面的时机
- 预调页策略(运行前的调入)
根据局部性原理,一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果提前调入的页面中大多数都没被访问过,则又是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测成功率只有50%左右。故这种策略主要用于进程的首次调入,由程序员指出应该先调入哪些部分 - 请求调页策略(运行期间的调入)
进程在运行期间发现缺页时才将所缺页面调入内存。由这种策略调入的页 一定会被访问到,但由于每次只能调入一页,而每次调页都要磁盘I/O操作,因此I/O开销较大。
从何处调入页面
- 外存分为两部分
- 存放文件的文件区 : 离散分配法方式
- 存放对换页面的对换区 :采用连续分配的方式, I/O速度快于文件区,
- 存在三种情况
- 系统拥有足够的对换区空间
页面的调入、调出都是在内存与对换区之间进行,这样可以保 证页面的调入、调出速度很快。在进程运行前,需将进程相关的数据从文件区复制到对换区。 - 系统缺少足够的对换区空间
- 凡是不会被修改的数据
直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。 - 对于可能被修改的部分
换出时需写回磁盘对换区,下次需要时再从对换区调入。
- 凡是不会被修改的数据
- UNIX方式
与进程有关的的数据全部放在文件区,故未使用过的页面,都可从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。
- 系统拥有足够的对换区空间
3.2.4 页面置换算法
页面的换入、换出需要磁盘I/O,会有较大的开销,因此好的页面置换算法应该追求更少的缺页率
最佳置换算法(OPT)
每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。
最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,最佳置换算法是无法实现的。
先进先出置换算法(FIFO)
- 每次选择淘汰的页面是最早进入内存的页面
- 把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。
- Belady 异常
当为进程分配的物理块数增大时,缺页次数不减反增的异常现象。
只有FIFO算法会出现,LRU和OPT算法永远不会出现Belady异常 - FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此,算法性能差
最近最久未使用置换算法(LRU)
每次淘汰的页面是最近最久未使用的页面
赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来所经历的时间t。
该算法的实现需要专门的寄存器和栈的硬件支持,虽然算法性能好,但是实现困难,开销大,原因是需要对所有的页进行排序
时钟置换算法(CLOCK或NRU)
时钟置换算法是一种性能和开销较均衡的算法,又称CLOCK算法,或最近未用算法(NRU,Not Recently Used)
-
简单的CLOCK 算法
简单的时钟置换算法仅考虑到一个页面最近是否被访问过。为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。
当某页被访问时,其访问位置为 1。当需要淘汰一个页面时,只需检查页的访问位。
如果是 0,就选择该页换出;如果是 1,则将它置为 0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK 算法选择一个淘汰页面最多会经过两轮扫描) -
改进的CLOCK算法
- 事实上,如果被淘汰页没有被修改过,就不需要执行I/O操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存。
- 思想 : 除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免I/O操作。
- 实现方法
- 第一轮:从当前位置开始扫描到第一个(0, 0)的帧用于替换。本轮扫描不修改任何标志位
- 第二轮:若第一轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。本轮将所有扫描过的帧访问位设为0
- 第三轮:若第二轮扫描失败,则重新扫描,查找第一个(0, 0)的帧用于替换。本轮扫描不修改任何标志位
- 第四轮:若第三轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。
- 四轮对应的优先级
- 第一优先级:最近没访问,且没修改的页面
- 第二优先级:最近没访问,但修改过的页面
- 第三优先级:最近访问过,但没修改的页面
- 第四优先级:最近访问过,且修改过的页面
- 由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有
四种算法比较
3.2.5 抖动和工作集
抖动
刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颠簸。
产生抖动的主要原因 :
进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)
分配给进程的物理块 < 进程频繁访问的页面数目
在进程运行时,若其工作集页面都在 主存储器(内存) 内,则能够使该进程有效地运行,否则会出现频繁的页面调入/调出现象
工作集
指在某段时间间隔里,进程实际访问页面的集合。
- 工作集 VS 驻留集
- 工作集不是驻留集的子集,如果工作集是驻留集的子集就不会发生缺页这种现象了
- 驻留集也不是工作集的子集,两者之间并没有包含关系
- 驻留集和工作集都是在内存的
引入工作集的原因 :
为进程分配的物理块太少,会使进程发生抖动现象。为进程分配的物理块太多,又会降低系统整体的并发度,降低某些资源的利用率
为了研究为应该为每个进程分配多少个物理块,Denning 提出了进程“工作集”的概念
工作集大小可能小于窗口尺寸,实际应用中,操作系统可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。
如:窗口尺寸为 5,经过一段时间的监测发现某进程的工作集最大为 3,那么说明该进程有很好的局部性,可以给这个进程分配 3 个以上的内存块即可满足进程的运行需要。
一般来说,驻留集大小不能小于工作集大小,否则进程运行过程中将频繁缺页。
拓展:基于局部性原理可知,进程在一段时间内访问的页面与不久之后会访问的页面是有相关性的。因此,可以根据进程近期访问的页面集合(工作集)来设计一种页面置换算法——选择一个不在工作集中的页面进行淘汰。
3.2.6 内存映射文件
用虚拟内存技术来将文件I/O 作为普通内存访问。这种方法称为文件的内存射,它允许部分虚拟内存与文件逻辑相关联
进程通过该系统调用,将一个文件映射到其虚拟地址空间的某个区域,之后就用访问内存的方式读写文件。
内存映射文件不是一次性加载整个文件,而是按需加载文件的部分,这样既节省空间,又方便处理大文件。
可以通过修改内存中的数据来实现对文件的写操作,磁盘文件的读出/写入由操作系统负责完成,对进程而言是透明的。当映射进程的页面时,不会实际读入文件的内容,而只在访问页面时才被每次一页地读入。当进程退出或关闭文件映射时,所有被改动的页面才被写回磁盘文件。
多个进程可以允许将同一文件映射到各自的虚拟内存中,以允许数据共享。其中任一进程修改虚拟内存中的数据,都会为其他映射相同文件部分的进程所见(通过共享内存通信)
3.2.7 虚拟存储器性能影响因素
- 根据局部性原理,页面较大则缺页率较低,页面较小则缺页率较高。
- 分配给进程的物理块数越多,缺页率就越低,但是当物理块超过某个数目时,再为进程增加一个物理块对缺页率的改善是不明显的。
- 好的页面置换算法可使进程在运行过程中具有较低的缺页率
- 写回磁盘的频率。
此在系统中建立一个已修改换出页面的链表,对每个要被换出的页面(已修改),可以暂不将它们写回磁盘,而将它们挂在该链表(页缓冲队列)上,仅当被换出页面数达到给定值时,才将它们一起写回磁盘,这样就可显著减少磁盘 I/O 的次数,即减少已修改页面换出的开销。 - 编写程序的局部化程度越高,执行时的缺页率就越低。若存储采用的是按行存储,则访问时就要尽量采用相同的访问方式,避免按列访问造成缺页率过高的现象,即对二维数组我们一行一行的访问,这样访问内存连续。
3.2.8 地址翻译
待补
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 全网最简单!3分钟用满血DeepSeek R1开发一款AI智能客服,零代码轻松接入微信、公众号、小程
· .NET 10 首个预览版发布,跨平台开发与性能全面提升