【重学计算机】计算机操作系统
一、操作系统概述
1. 计算机软硬件系统
- 冯诺伊曼结构
- 以运算单元为核心,控制流由指令流产生
- 程序和数据存储在主存中
- 主存是按地址访问,线性编址
- 指令由操作码和地址码组成
- 数据以二进制编码
- 其他:参考《重学计算机-计算机组成原理》
2. 计算机操作系统的发展
- 概述:任何一台机器都有其操作平台和操作系统
- 洗衣机:开关表示、按钮控制、亮灯显示
- 演进过程
- 手工操作:手动调动地址和数据按钮录入内存,然后点运行
- 引进装入程序:用卡片和纸带,通过ROM上的装入程序载入内存
- 汇编语言:对指令提供了助记符号
- 高级语言:面向问题
- 简单批处理系统:编写作业控制程序,缩短手工操作的时间
- 多道批处理系统:排队执行作业,不能同时,也不能和计算机交互
- 分时系统、实时系统:进程间切换,引入中断机制
- 通用操作系统:同时具备以上功能
3. 不同视角下的操作系统
- 资源管理的角度:
- 资源:硬件资源(处理器、内存、外设),软件资源(数据、程序)
- 例子:驱动程序
- 共享:资源独占、并发共享
- 分配:静态、动态、抢占
- 程序控制的角度:进程
- 操作方式的角度:脱机、联机
- 人机交互的角度:行命令、全屏幕控制、窗口界面、虚拟现实
- 程序接口的角度:系统调用(陷入机制)
- 系统结构的角度:
- OS构件:内核、进程、线程、管程
- 设计概念:模块化、层次化、虚拟化
二、处理器管理
1. 指令与处理器模式
- 指令执行周期:取指、译码、执行
- 指令分类(根据权限)
- 特权指令:只能被操作系统内核使用(启动IO,置PC值)
- 非特权指令:所有程序都能使用
- 处理器模式:
- 共有四种:0内核模式,1系统调用,2共享库程序,3用户模式
- 一般来说:只有0内核模式(能执行全部指令)和3用户模式(只能执行非特权指令)
- 模式切换:
- 用户模式 --> 内核模式(系统调用、异常、响应中断)
- 内核模式 --> 用户模式(中断返回指令)
2. 中断
- 概念:
- 操作系统是中断驱动的。即中断是激活操作系统的唯一方式
- 广义中断:停止CPU正在执行的进程,转而执行中断处理程序,处理完后返回原进程或调度新进程
- 狭义中断:源于处理器之外的中断事件,IO中断、时钟中断、外部信号中断
- 中断源:
- 处理器硬件故障中断事件:内存故障
- 程序性中断事件:除0异常、缺页异常
- 自愿性中断事件:系统调用
- IO中断事件:IO完成
- 外部中断事件:鼠标点击
- 中断系统:
- 实现:硬件完成中断响应,软件完成中断处理
- 中断装置:
- 处理器外中断:由中断控制器实现
- 处理器内中断(陷阱):由指令控制逻辑实现
- 系统调用(系统陷阱):执行陷入指令时直接触发,即系统陷阱
- 中断处理流程
- 多中断处理:中断屏蔽、中断优先级、中断嵌套
3. 进程
- 进程:操作系统进行资源分配和调度的独立单位
- 进程解剖:OS管理进程的数据结构P + 内存代码 + 内存数据 + 通用寄存器R + PSW
- 进程状态:
- 进程数据:
- 进程控制块PCB:是OS用于记录进程状态和环境信息的数据结构
- 标识信息:进程标识(进程标识号、进程组标识号)
- 现场信息:用户可见寄存器内容、控制/状态寄存器内容、栈指针内容
- 控制信息:进程调度信息、进程组成信息、队列指引元、通信相关、进程特权信息、处理器使用信息、资源清单信息
- 进程映像:某一时刻进程的内容及执行状态集合
- 进程控制块、进程程序块、进程数据块、核心栈
- 进程上下文:进程执行的环境支持(CPU现场、Cache中的执行信息)
- 用户级、寄存器级、系统级
- 进程控制块PCB:是OS用于记录进程状态和环境信息的数据结构
- 进程的管理
- 进程实现的队列模型
- 进程控制流程
- 进程创建:进程表增加一项,申请PCB并初始化,生成标识,建立映像,分配资源,移入就绪队列
- 进程撤销:从队列中移除,归还响应资源。。。
- 进程阻塞:保存现场,修改PCB,移入等待队列
- 进程唤醒:从等待队列移出,修改PCB,进入就绪队列
- 进程挂起:修改进程状态并出入相关队列,收回内存等资源送至对换区
- 进程激活:分配内存,修改状态并出入相关队列
- 原语
- 概念:由若干指令构成的完成某种特定功能,有原子性
- 应用:修改OS核心数据结构(进程表、PCB池)
- 进程切换与模式切换
- 流程: 俩进程上下文切换(保存被中断的上下文、进程调度、恢复待运行的上下文)
- 模式切换:用户态到内核态这种。进程切换必须在内核态完成,所以必须经理模式切换
4. 线程
- 多线程技术:一个进程内有多个线程
- 思路:将进程的两个功能“独立分配资源”和“调度执行”功能分开
- 分类:
- KLT:内核级多线程
- ULT:用户级别多线程
- 多线程实现的混合策略
- 一个ULT绑定多个KLT
5. 处理器调度
- 处理器调度的层次:高级、中级、低级
- 处理器调度算法
- 原则:资源利用率、响应时间、周转时间(进入系统到出系统时间)、吞吐量(单位时间处理进程数)、公平性
- 算法:优先数算法、时间片轮转、分级调度算法、彩票算法
三、存储管理
1. 存储管理的基本概念
- 逻辑地址:用户地址,从零开始编号
- 一维逻辑地址:(地址)
- 二维逻辑地址:(段号: 段内地址)
- 主存储器的复用方式
- 按分区:主存划分为多个固定/可变分区,一个程序占一个分区
- 按页架:主存划分为多个固定页架,一个程序占多个页架
- 存储管理的模式
- 单连续:一维逻辑地址程序,占一个固定/可变分区
- 段 式:二维逻辑地址程序,占多个可变分区
- 页 式:一维逻辑地址程序,占多个页架
- 段页式:二维逻辑地址程序,占多个页架
- 地址转换:逻辑地址 --> 物理地址
- 静态重定位:程序装入内存时转换(早期OS)
- 动态重定位:CPU执行时转换,效率考虑需要硬件帮助
- 虚拟存储器
- 由于程序的局部性顺序性等,可以考虑只将部分程序调入主存,其他的随用随调
- 达到了面对程序员主存扩容的目的
2. 单连续分区存储管理
- 单用户连续分区管理:主存区划分为系统区和用户区,采用静态重定位进行地址转换,一般适用于单用户单任务操作系统(DOS)
- 固定分区管理:一个程序占一个分区,有主存分配表,容易产生内零头
- 可变分区管理:按进程内存需求动态分配内存空间,容易产生外零头
3. 页式存储管理 **
- 概念:
- 主存分页架,程序分页。
- 不同程序页可放在不同主存页架中,不需要连续
- 页和页架关系由页表维护
- 用位示图表示主存分配与去配,用进程页表维护进程逻辑完整性
- 地址:
- 逻辑地址:页号 + 单元号
- 物理地址:页架号 + 单元号
- 快表:
- 利用Cache存放部分页表
- 同Cache缓存内存数据一样,也是相联存储器技术,并且有淘汰策略,具体见《重学计算机 -- 计算机组成原理》
- 页式虚拟存储
- 页表:标识位 + 主存块号 + 辅存地址
- 实现:
- 查页表,若页在内存,则生成绝对地址
- 若不在内存,发起缺页中断
- OS响应缺页中断,若内存有空闲页架,则从辅存中调入页。更新页表快表
- 若无空闲页架,先淘汰页,再调入
- 页面调度算法:
- 同Cache和内存的调度策略,具体参考《重学计算机 -- 计算机组成原理》
4. 其他
- 段式存储管理:基本不用,略
- 段页式存储管理:基本不用,略
- 内存管理单元MMU:
- 作用:管理虚拟存储器的硬件控制线路,把虚拟地址映射为物理地址,并提供内存保护,必要时淘汰页面
- 实现:用一种数据结构 反置页表IPT
PS:许多年以前,当人们还在使用DOS或是更古老的操作系统的时候,计算机的内存还非常小,一般都是以K为单位进行计算,相应的,当时的程序规模也不大,所以内存容量虽然小,但还是可以容纳当时的程序。但随着图形界面的兴起还有用户需求的不断增大,应用程序的规模也随之膨胀起来,终于一个难题在程序员的面前,那就是应用程序太大以至于内存容纳不下该程序,通常解决的办法是把程序分割成许多称为覆盖块(overlay)的片段。覆盖块0首先运行,结束时他将调用另一个覆盖块。虽然覆盖块的交换是由OS完成的,但是必须先由程序员把程序先进行分割,这是一个费时费力的工作,而且相当枯燥。人们必须找到更好的办法从根本上解决这个问题。不久人们找到了一个办法,这就是虚拟存储器(virtual memory).虚拟存储器的基本思想是程序,数据,堆栈的总的大小可以超过物理存储器的大小,操作系统把当前使用的部分保留在内存中,而把其他未被使用的部分保存在磁盘上。比如对一个16MB的程序和一个内存只有4MB的机器,操作系统通过选择,可以决定各个时刻将哪4M的内容保留在内存中,并在需要时在内存和磁盘间交换程序片段,这样就可以把这个16M的程序运行在一个只具有4M内存机器上了。而这个16M的程序在运行前不必由程序员进行分割。
四、设备管理
1. IO的控制方式
- 演进过程:轮询 --> 中断 --> DMA --> IO通道
- 经典布局:南北桥
- PS:详见《计算机组成原理》
2. IO的实现
- 软件实现层次:硬件 --> 中断处理程序 --> 设备驱动程序 --> 独立于设备的IO软件 --> 用户空间的IO软件
- IO缓冲:
- 解决问题:
- 设备与CPU速度不匹配
- 逻辑记录大小和物理记录大小不一致
- 减少IO操作对CPU的中断次数
- 实现:缓冲区
- 内存中开辟一个专门临时存放IO数据的区域
- 分类:单缓冲、双缓冲、多缓冲
- 解决问题:
3. 磁盘
- 调度策略
- 移臂调度:以双向调度中的电梯调度算法为经典
- 旋转调度:写数据时采用交叉因子写入方式,可以提高旋转读数据的命中率
五、文件系统
1. 文件系统
- 文件系统概述
- 文件的组织:
- 逻辑结构:流式、记录式
- 物理结构:顺序、连接、直接、索引
- 文件的存取:顺序、直接、索引
- 文件的控制:逻辑控制、物理控制
- 文件的使用:打开、关闭、读、写、控制
- 文件的组织:
- 文件的存储
- 块:存储介质上连续存储的区域,是主存与辅存信息交换的单位
- 顺序存取设备:光盘、磁带
- 直接存取设备:磁盘
2. 文件
- 文件的逻辑结构
- 流式文件:只是由一段字节序列构成的
- 记录式文件:有含义有结构的信息,比如员工工资记录
- 文件的物理机构
- 顺序文件:块块之间相连,批处理文件和系统文件一般都这么存。---> 数组
- 连接文件:有连接字指向下一个块地址。---> 链表
- 直接文件:又叫散列文件。对内容进行散列存储到相应物理位置。 ---> 散列表
- 索引文件:为文件建立一个索引表,可多级。 ---> 增加了散列表的链表
- 文件的目录
- 概念:实现文件按名存取的关键数据结构
- 分类:一级目录、二级目录、树型目录
六、并发程序设计
1. 并发程序的基本概念
- 程序顺序性
- 内部顺序性:CPU严格按照顺序执行指令
- 外部顺序性:程序员设计程序时往往用顺序设计的思想
- 顺序程序特性
- 程序执行的顺序性
- 计算环境的封闭性: 程序执行时犹如独占资源
- 计算结果的确定性
- 计算过程的可再现性
- 并发进程
- 无关的并发进程:一组并发进程,在不同变量集上运行
- 交往的并发进程:一组并发进程,共享某些变量,相互影响
- 并发进程制约关系
- 进程互斥:争夺某一个资源
- 进程同步:共同完成某一个任务,协调先后顺序
- 发生问题:
- 与时间有关的错误:结果错误、永远等待
- 临界区:
- 临界资源:一次只能被一个进程使用的资源(互斥共享变量)
- 临界区:是个程序段,是并发进程中与互斥共享变量相关的程序段
- 相关的临界区:两个进程的临界区有相同的临界资源(必须互斥进入)
- 问题:
- 多个并发进程访问临界资源存在制约关系
- 如果两个进程同时处在相关的临界区,会发生与时间有关的错误
- 临界区管理的要求:
- 一次至多允许一个进程停留在相关临界区
- 一个进程不能无限制停留在临界区内
- 一个进程不能无限制等待进入临界区内
- 临界区嵌套使用
2. 并发程序控制和问题
- 临界区管理实现:
- 思路:判断锁和获取锁要作为原子操作,不然会死锁或时间错误
- 实现:
- 原子指令:测试并建立锁指令、对换指令(忙式等待,效率不高)
- 中断控制:进出临界区时开关中断,这样临界区执行时就不会被中断,自然实现了原子性
- 这个时操作系统的原语,是操作系统解决这个问题的办法
- 不建议用户程序使用,因为无法保证程序员设计出短小精悍的原语
- PV操作:用信号量,“申请-等待队列-中断恢复”
- 生产者消费者问题:
- 进程间通信
- 信号量:低级通信方式
- 信件:进程通信机制(直接通信、间接通信)
- 基于流:多个进程共同使用一个缓冲区
- RPC:远程过程调用
- 死锁
公众号 - 低并发编程