数据存储技术
课程大纲
判断对错、名词解释、问答、计算
数据硬件组成
- 数据存取途径是指从数据源到目的地数据和命令传输的路径 。
- 数源据和目的地通常是存储器或存储设备。
- 介于两端之间的物理器件便组成了存取途径的硬件系统。
总线
- 总线是连接设备的通信通道，包括数据总线、地址总线、控制总线（避免多个CPU操作同一块内存）和电源线等 。
- 系统总线：系统总线是一条致密的高速总线、连接CPU/Cache和系统内存。通过总线仲裁获得总线使用权，然后在两个硬件模块间进行通信。
- 内存总线
- IO总线：外围设备总线(IO总线)，与系统总线桥接，由于桥控制器控制，连接外围设备。桥接控制器中包含高速缓存，用以调节两条总线的速度差。
- IDE总线
- 桥间连接总线
- USB总线
- PCI总线：目前台式机与服务器所普遍使用的一种南桥与外设连接的总线技术。
- SCSI总线
PCI总线：
- PCI （ Peripheral Component Interconnect）总线是目前台式机与服务器所普遍使用的一种南桥与外设连接的总线技术。
- PCI 总线的地址总线与数据总线是分时复用的。一方面可以节省接插件的管脚数，另一方面便于实现突发数据传输。
- 在数据传输时，一个 PCI 设备作为发起者（主控， Initiator或 Master），而另一个 PCI 设备作为目标（从设备、 Target或 Slave）。
- 总线上所有时序的产生与控制，都由 Master 来发起。 PCI 总线在同一时刻只能供一对设备完成传输，这就要求有一个仲裁机构（ Arbiter），来决定谁有权力拿到总线的主控权。
- PCI Express （ PCIE）是INTEL提出的新一代的总线接口， PCI Express采用了目前业内流行的点对点串行连接，比起PCI以及更早期的计算机总线的共享并行架构，每个设备都有自己的专用连接，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到PCI所不能提供的高带宽 。
总线适配器
- 主机总线适配器(HBA)：一种将存储设备或其它外围设备接入I/O总线，并对存储设备和外围设备进行控制的硬件。
- 因主机I/O总线的不同和接口协议的不同有多种HBA，主要包括IDE、 SCSI等。
- IDE（ Integrated Drive Electronics ） 常用的磁盘适配器。也称之为ATA接口。 ATA的英文拼写为“Advanced Technology Attachment” ，含义是“高级技术附加装置”。 2003年推出SATA（ Serial ATA）后，原有的ATA改名为PATA（并行高技术配置， ParallelATA）。 2013年12月29日，西部数据正式停止PATA硬盘供应，而希捷科技则已停售产多年，这意味着1986年设计的PATA接口在经历27年后正式退出历史舞台。
- SCSI（ Small Computer System Interface）适配器。小型计算机系统接口（ SCSI， Small Computer System Interface）是一种用于计算机及其周边设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准。
- 串行SCSI（ SAS： Serial Attached SCSI）是由并列SCSI物理存储接口演化而来，是由ANSI INCITST10技术委员会开发的新的存储接口标准。与并列方式相比，串行方式提供更快速的通信传输速度以及更简易的配置。
I/O总线与网络接口适配器
SCSI的局限性
- 只适用于存储子系统与主机的连接，单一点对点，且有距离限制 。
网络存储
可以实现距离延伸、数据共享和高速传输
因网络结构不同，网络适配器亦不同
以太网， TCP/IP协议
- 光纤网， FCP通信协议
- 网络适配器的主要功能：
- 数据的发送和接收
- 信号的编码和译码
数据流的处理和控制
通过网络接口适配器，可以实现NA(Network Attached Storage，提供独立的文件服务)，也可以组成SAN(Storage AreaNetwork，提供存储数据网络)
- SAN：Storage Area Network，提供存储数据网络 后端磁盘没有瓶颈，SAN快，块的形式。
- NAS：Network Attached Storage，提供独立的文件服务 网络问题解决，NAS速度更快，CPU密集型（随机小块IO）应用优先考虑，文件形式。
存储软件过程
本地数据存取过程
数据存取的发起源：用户驱动的应用、 操作系统内部调用、数据库产生的I/O请求等
数据存取的过程
- 通过文件系统发出的I/O请求被放置在操作系统的进程队列中，等待系统提供包括内存空间、 CPU处理、通信及I/O等资源； 一旦条件具备，便执行I/O服务请求
- 若操作系统具有卷管理器功能，或在操作系统中集成有卷管理器。 则文件系统发出的I/O请求被输入到卷管理器。经卷管理进行某些处理，例如镜像、分块、软件盘阵列、连接、分配磁盘缓存等等。 将I/O请求依次发送到由卷管理器创建的磁盘驱动器分区的逻辑驱动器中，通过调用设备驱动程序，与固化在总线适配器中的部分控制软件一起完成对磁盘驱动器的读/写操作。
网络存取过程(客户端)
- 当应用出现时，同样由操作系统将请求放置在队列中等待处理。但是，对于网络服务器需要经过I/O重定向，使远程网络服务器和文件系统如同本地一样地为客户服务。
- I/O重定向后，系统将用户(或应用)的I/O请求从文件系统的本地I/O途径重新定向到使用网络资源的路径，即传输到网络文件协议处理程序，并经网络接口适配器的驱动程序驱动网卡进入网络。
- 网络文件协议由多个协议层组成，网络文件协议处理程序可视为一系列有序的设备驱动程序，在操作系统的协同下完成用户的I/O请求。
网络存取过程(服务端)
- 当数据从用户端网卡送到网络服务器后，首先由网络接口控制器(网卡)的设备驱动程序解析数据，并将信息传送到网络文件协议处理程序，由该程序产生客户与服务器连接所必需的信息。
- 将客户请求送到服务器的文件系统，完成在本地文件服务时所应做的工作，发出I/O请求。
- I/O请求被送到卷管理器(有数据库的服务器则由数据库管理系统发出I/O请求并处理)，由设备驱动程序完成以后的存取文件的任务。
存取系统软件
操作系统
- 数据的存取过程都是由操作系统控制的。它既控制连接在服务器、工作站上的设备或子系统的运行，同时也是组成存储子系统，如RAID,NAS和SAN的核心软件。
- 操作系统的主要任务之一是管理存储系统，包括管理内存，组织虚拟存储和管理外存储系统，而这些功能正是操作系统的核心，可以说它是构造存储子系统的核心软件。
文件系统
- 管理和调度文件的存储空间，提供文件的逻辑结构、物理结构和存储方法
- 实现文件从标识到实际地址的映射(即按名存取)，实现文件的控制操作和存取操作(包括文件的建立、撤销、打开、关闭，对文件的读、写、修改、复制、转储等)
- 实现文件信息的共享并提供可靠的文件保密和保护措施，提供文件的安全措施(文件的转储和恢复能力)
网络文件协议
网络文件协议常见的有CIFS, NFS, FTP等；网络文件协议位于TCP/IP或UDP/IP协议之上，用以处理客户I/O请求，如产生所有的必要的连接和跟踪远程客户交换数据的信息，并将客户请求传输给文件系统；通用的网络文件协议栈(分层软件)
卷管理器
卷管理器是在文件系统之下的一个软件模块，它所涉及的设备操作比文件系统的层次低；
文件系统通过逻辑驱动器进行文件的存取操作，它将数据放置在逻辑驱动器上，最大限度地保证数据的可靠性和一致性；
卷管理器则创建实际的磁盘驱动器分区，并将其设置为逻辑驱动器，通常具备以下功能：
镜像。卷管理器将由文件系统发生的I/O请求镜像到它所创建的分区，由相应的逻辑驱动器实现镜像存储；
分块。卷管理器通过一个轮转进程，将I/O操作指令和数据轮流发送到相应的多个驱动器，实现分块存取；
软件RAID。卷管理器可以实现RAID技术，这种RAID与由独立的硬件实现的RAID相比，具有价格便宜的优点，但是其存取速度相对较慢；
高速磁盘缓存。卷管理器可以将没有占用的内存空间作为缓存，临时存储数据。
NVMe理解：
