HCIA-Storage:第四章存储系统结构
1.存储系统架构
备注：写入数据在双控CACHE中各保存一份，避免单控故障导致数据丢失。
每个控制板的后端分别接入物理磁盘的环路——业务负载均衡，提升整体系统性能。
将多个LUN的负载或者同一个LUN的负载均衡在两个控制器上，避免性能瓶颈。
一控制器故障时，另一控制器在主机多路径软件配合下接管业务负载，确保不中断。
网格存储被业内称为革命性的新一代存储架构，它是采用了大规模并行的分布式网格 存储技术，使用了“Scale out”(横向扩展)的存储架构，利用多路网格模块并行分担存储 负荷，并通过细粒度数据分布算法保证数据的恒定均衡分布，它不但提高了系统的可 靠性、可用性和存取效率，还易于扩展。
在网格存储系统里面，没有任何主控的模块，系统由一个个的网格组成的。每个网格 叫数据模块，每个独立的数据模块包括紧耦合的CPU处理能力，缓存能力加上磁盘存储 能力。
网格存储系统的主要部分被称为modules（模块）。模块提供处理单元、缓存、主机接 口和基于标准的英特尔和Linux系统。它们通过内部的冗余的以太网交换机实现冗余连 接。所有模块在一起形成一个网格体系结构的工作模式，因此，该系统可以基于本身 具有的并行方式及其强大计算能力，适用于很多的整合、混合计算环境。
从根本上说，接口模块其实和数据模块的结构基本相同，但是承担的功能略有不同： 接口模块除承担数据模块的同等功能外，还包括FC接口和iSCSI接口的主机系统连接以 及远程镜像的连接支持。在概念层面上，模块（Module）是系统架构的基本元素，提 供物理容量空间、处理能力和缓存，各数据模块间的关系是平等的、无主次之分。 网格体系架构利用“伪随机”的分布式方式，通过独特的算法，能够把一个特定的工 作任务是进行战略性的分离，使总的工作量分布在更多个模块上，系统的整体性能会 通过增加更多的模块进一步提升。
网格存储系统包含一个冗余的交换以太网络结构，负责进行数据之间的通信模块。包 括两个接口模块之间的数据交换；接口模块和数据模块之间的数据交换；以及两个数 据模块之间的数据交换。
统一命名空间，全局共享
高性能，多台阵列并发I/O
在线扩容
支持上百亿文件存储 统一命名空间，全局共享
高性能，多个对象存储节点并发I/O，提供上几十GB聚合I/O 在线扩容
自动负载均衡
低成本：X86服务
支持EB级文件存储
统一命名空间，全局共享 在线扩容
低成本：X86服务器
支持上百亿文件存储
统一命名空间，全局共享 高性能，多个对象存储节点并发I/O，提供上几十GB聚合I/O
在线扩容
低成本：X86服务
控制器是阵列的“大脑”，主要部件为处理器和缓存，最先主要实现简单IO操作、 RAID管理功能，随着技术发展，能够提供各种各样的数据管理功能，如快照、镜像、 复制
2.硬盘的类型
磁盘数据的读写流程：
1.磁盘使用一个快速移动的读/写磁头臂带动磁头，从一个涂了磁性颗粒的扁平盘片上读写数据。数据从磁盘盘片上通过读写磁头向计算机传送。硬盘（HDD）就是由几个盘片、读写磁头、控制电路、主轴等组合在一起的机械部件。磁盘盘片上的磁性颗粒可提供无限次的数据记录和擦除。本节我们将详细介绍磁盘的接口，磁盘上组织和存储数据的机制，并讨论影响磁盘性能的因素。
2.一个典型的磁盘包含了一个或多个称为盘片的扁平圆盘。数据以二进制代码（0和1）的形式被记录在这些盘片上。这些盘片是刚硬的，两个表面上都涂覆有磁性材料（上下表面）。数据可被写入到或从该盘片的两个表面（上下表面）读取。盘片的数目和每个盘片的存储容量确定了磁盘的总容量。
3.如该图所示，主轴连接所有盘片，并连接到一个马达上。主轴电机以恒定的速度旋转。盘片转速以每分钟圈速（rpm）来衡量，常见的磁盘具有7200转、10000转或15000转的转速。目前的存储系统中使用的磁盘有直径为3.5寸（90毫米）的盘片。当盘片旋转在15000rpm时，盘片外边缘的移动可达到音速的25％左右。因此，随着技术的提高，随着盘片的转动速度有所增加，但是它能够改善的程度是有限的。
4.读/写磁头负责向盘片写入或者从盘片读取数据。磁盘的每个盘片都有两个读写磁头，分别用于盘片的两个表面的数据的读写。当读/写磁头写入数据时，通过改变盘片上磁粒子的磁极来记录数据。读取数据时，读/写磁头通过检测盘片上磁粒子的磁极来读取数据。在读取和写入数据时，读/写磁头不用接触盘片表面就可以感应磁粒子的磁极。当主轴旋转时，读写W磁头和盘片之间有一个很微小的空气间隙，被称为磁头飞行高度。当主轴停止转动时，读/写磁头将停靠在盘片在主轴附近的一个特殊区域，此时，这个空气间隙被除去。磁头停放的这个区域被称为着陆区域。着陆区域涂有润滑剂，以减小头部和盘片之间的摩擦。磁盘逻辑会确保磁头在移动到着陆区之前不会接触盘片的表面。如果驱动器故障或者读/写磁头不慎接触到着陆区外的盘片表面，就会发生磁头碰撞。如果发生了磁头碰撞，盘片上的磁性涂层将会被刮伤，也可能会损坏读写头。磁头碰撞通常会导致数据丢失。
5.读/写磁头被安装在磁头臂的顶端，磁头臂会带动磁头移动到需要被写入或读出的数据的盘片位置上方。
6.控制电路是一个印刷电路板，安装在磁盘的底部。它由一个微处理器、内部存储器、电路和固件组成。由固件控制向主轴马达供电并控制主轴电机的速度。它还管理着磁盘与主机之间的通信。此外，它通过移动磁头臂控制不同的读/写磁头之间的切换，以获得数据的访问的最优化。
所有机械硬盘的原理相同
盘片被磁性材料覆盖，盘片上的磁性粒子被极化以表示一 个二进制信息单元（或比特）。
读/写磁头：负责读和写数据： 磁头臂：带动读/写磁头，将磁头移动到指定位置
盘片：保存写入的数据
主轴：转动盘片，将盘片上的指定位置移动到读/写磁头
控制电路：控制硬盘的速度，磁头臂的移动，向磁头下发命令等
IOPS ：是IO系统每秒所执行IO操作的次数，是一个重要的用来衡量系统IO能力的参数
IOtime=寻道时间+旋转时延+传输时延 = 寻道时间+60s/转速/2+IOchunksize/传输速度 （单位：秒）
IOPS=1/IOtime=1/(寻道时间+60s/转速/2+IOchunksize/传输速度)
- 通常，数据的价值由老板决
- RPO（Recovery Point Objective）恢复点目标.
- 当灾难或紧急事件发生后，数据可以恢复到的过去的一个事件点.
- RTO（Restore Time Objective）恢复时间点目标.
- 宕机发生后，恢复到系统正常运行所需的时间.
- COD（Cost Of Downtime）停机成本.
- 业务中断期间，每小时的成本.
FC HBA卡：一般也叫光纤网卡。传输协议为光纤通道协议，一般通过光纤线缆与光纤 通道交换机连接
iSCSI HBA卡：传输iSCSI协议，接口类型与以太网卡相同。将硬件iSCSI initiator集成到 板卡上，利用 TCP/IP卸载引擎在适配卡上完成数据处理，作用在于减轻主机CPU负载， 也提供了高可用环境下硬件多通道功能和服务器远程引导功。
3.硬盘常用接口
3.1.硬盘常用接口-ATA接口
ATA：Advanced Technology Attachment，高级技术附加装置。
ATA硬盘也经常称为IDE（Integrated Drive Electronics）硬盘。
ATA接口使用并行ATA技术
ATA全称是Advanced Technology Attachment，采用传统40-Pin并口数据线连接主板与硬盘，外部接口速度最大为133MB/s，由于并口数据线的抗干扰能力差，且排线占空间，不利计算机散热，ATA逐渐被串口ATA所取代。
ATA接口发展到今，细分可以分成ATA-1（IDE）、ATA-2（EIDE Enhanced IDE/Fast ATA）、ATA-3（FastATA-2）、Ultra ATA、Ultra ATA/33、Ultra ATA/66、Ultra ATA/100及Serial ATA。ATA发展到ATA100已经到了尽头，转向SATA。
ATA接口具有以下优缺点（重点）：
优点： 价格低廉、兼容性非常好；
缺点： 速度慢、只能内置使用、对接口电缆的长度有很严格的限制 。
3.2.硬盘常用接口-SATA接口
SATA：Serial Advanced Technology Attachment.
SATA接口使用串行ATA技术，用串行方式进行数据传输。
SATA硬盘采用点对点连接方式，支持热插拔，即插即用。
SATA全称是Serial Advanced Technology Attachment，也就是使用串口的ATA接口，因抗干扰性强，且传输线比ATA的细得多，支持热插拔等功能，已被广为接受。SATA-I的外部接口速度已达到150MB/s，SATA-II达到300MB/s，SATA-III将达到600MB/s。
SATA：Serial ATA (Serial ATA) 串行ATA
SATA采用串行方式进行数据传输，接口速率比IDE接口高，最低为150MBps，并且第二代（SATAⅡ ）300MBps接口硬盘已经形成商用，规划内的最高速率可达600MBps。
SATA硬盘采用点对点连接方式，支持热插拔，即插即用。
3.3.硬盘常用接口-SCSI接口
SCSI ：Small Computer System Interface )，小型计算机系统接口。
SCSI接口使用并行SCSI技术。
SCSI接口适应面广、高性能、支持热插拔。
SCSI全称为Small Computer System Interface，历经3代的发展，从SCSI-1、SCSI-2到SCSI-3。工作站级个人计算机及服务器通常采用SCSI硬盘，原因在于SCSI硬盘支持高转速（如，15000RPM），且数据传输时占用较少CPU资源。SCSI硬盘的单价比ATA/SATA硬盘贵。
优点（重点）：
适应面广，在一块SCSI控制卡上就可以同时挂接15个设备 ；
高性能（具有多任务、宽带宽及CPU占用率低等特点）；
具有外置和内置两种 ，支持热插拔。
缺点：
价格昂贵，安装复杂。
3.4.硬盘常用接口-SAS接口
SAS：Serial Attached SCSI， 串行连接SCSI。
点对点、全双工、双端口；
高性能、高可靠性、强大的扩展性能；
灵活性强、成本低。
SAS全称是Serial Attached SCSI，是新一代的SCSI技术，它使用串口的SCSI接口，其传输速度，可达到12Gb/s。
SAS(Serial Attached SCSI) 串行连接SCSI （重点）：
SAS是一种点对点、全双工、双端口的接口；
SAS专为满足高性能企业需求而设计，实现与SATA的互操作，为企业用户带来前所未有的灵活性和低成本；
速率每路600M；
SAS具有高性能、高可靠性、强大的扩展性能。
SAS可以向下兼容SATA，同样采用串行技术，在传输速率、抗干扰性方面强于SCSI，SAS接口硬盘价格相对更高。
SAS特点：
串行通信方式，允许多个数据通路全速与各个设备通信；
支持多个窄端口捆绑形成宽端口；
具有非常好的扩展能力，可以采用扩展器（expander）进行接口扩展；
SAS相对SCSI而言，最重要的提升在于：
因为采用串行通信方式，可以提供更高的吞吐量，并为将来更高的性能奠定基础；
四个窄端口可以绑定成一个宽端口（Wide Link），提供更高的吞吐量；
SAS采用全双工（双向）通信模式，而不是单向通信。传统的并行SCSI只可以在一个方向上进行通信，当设备接收到并行SCSI的一个数据包后，如果该设备要响应该数据包，就需要在上一个链路断开后，再重新建立一个新的SCSI通信链路。而使用SAS，则可以进行双向通信。每个SAS电缆有4根电缆，2根输入2根输出。SAS可以同时进行数据的读写，全双工的数据操作提高数据的吞吐效率。
SAS的可扩展性
SAS结构采用扩展器（expander）进行接口扩展，具有非常好的扩展能力
SAS结构采用扩展器进行接口扩展，具有非常好的扩展能力（重点）。
SAS Expander：SAS域中的互联设备，类似于以太网交换机，通过Expander的级联可以大大增加终端设备的连接数，从而节约HBA花费。每个Expander最多可以连接128个终端设备或者128个Expander。
1个SAS域由以下几个部分组成：SAS Expander、终端设备、连接设备（即SAS连接线缆）。
SAS Expander配备了一个地址的路由表跟踪，记录了所有SAS驱动器的地址。
终端设备包括启动器（通常为SAS HBA卡）和目标器（SAS/SATA硬盘，也可以是处于目标模式的HBA卡）。
SAS 域中不能形成环路，以保证其发现终端设备流程的正常进行。
实际使用中，因为带宽的原因，扩展器连接的终端设备比128个少很多。
3.5.硬盘常用接口-NL SAS
NL SAS 采用SAS接口、SATA 盘体，也叫近线SAS。
在线存储(OnStore)：存储设备和所存储的数据时刻保持“在线”状态。
离线存储(OffStore)：大多数情况下主要用于对在线存储的数据进行备份。
NL SAS 是指采用了SAS接口和SATA盘体的综合体。即具有SAS接口、接近SAS性能的SATA盘。
NL：Near Line，近线。所谓的近线存储，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。
近线存储对性能要求相对来说并不高，但又要求具备相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的比较大的比重，这也就要求近线存储设备需要容量相对较大。
在线存储(OnStore)（重点）：是工作级的存储，在线存储的最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。
离线存储(OffStore)（重点）：主要使用光盘或磁带存储。大多数情况下主要用于对在线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级的存储。
SAS、NL-SAS与SATA的应用比较
3.6.硬盘常用接口-FC接口
FC硬盘采用FC-AL( Fiber Channel Arbitrated Loop）光纤通道仲裁环。
FC-AL是一种双端口的串行存储接口，FC-AL支持全双工工作方式。
FC硬盘定位于高端存储应用，可靠性和性能高，FC硬盘一般都同时提供两个FC接口，可同时使用或互为备份。
优点（重点）：
具有很好的升级性 ，可以用非常长的光纤，可超过10公里；
具有非常高的带宽；
具有很强的通用性 。
缺点：
价格非常昂贵；
组件复杂。
3.6.固态硬盘
Solid State Disk，SSD，是一种以固态电子存储芯片作为永久性存储器的存储设备。无高速旋转部件，性能高、功耗低。
多通道并发，通道内Flash颗粒复用时序；
支持TCQ/NCQ，一次响应多个IO请求。
SSD原理 ：
1. 使用Flash技术存储信息
2. 内部没有机械结构，因此耗电量更小、散热小、几乎没有噪音
3. 但是，基于SSD的使用频率，SSD的寿命有限、读写次数有限
SSD的3种主要类型：
1. SLC（Single Level Cell），单层次存储单元；每个存储单元cell只存1bit数据，0或1
2. MLC（Multi Level Cell） ，多层次存储单元；每个存储单元可存2bit数据，00,01,10,11
3. TLC（Triple Level Cell），三层次存储单元；每个存储单元可存3bit数据，000,001......
SSD性能优势：
1. 响应时间短
2. 读写效率高
SSD在存储中的应用：
● A级应用：以高并发随机读写为主，如数据库应用
● B级应用：顺序读写的大容量文件，图片，流媒体等
● C级应用：以备份数据为主，或极少使用的数据
