存储知识(4)
存储知识(4)转自:https://www.cnblogs.com/zxqstrong/p/4978036.html
1. 云计算
云计算是一种计算模型,实现无处不在、便捷、可通过网络按需访问的可配置计算资源池(例如,网络、服务器、存储、应用程序、服务),这些资源可以快速调配,最小化管理开销或与服务提供商的交互。云计算模型有五个必要特性,三个服务模型以及四个部署模型。
必要特性
按需自助服务 – 消费者能够单方面按需自动调配计算资源,例如服务器时间和网络存储,而无需人为与每一个服务提供商进行交互。
广泛网络访问 –混杂的瘦或胖客户端平台(移动电话、平板电脑、笔记本电脑和工作站)使用标准机制通过网络访问资源。
资源池 – 通过多租户模型,提供商的计算资源池可用于服务多位消费者,根据用户需求动态分配或重新分配不同的物理和虚拟资源。资源感觉上是与位置无关的,因为客户通常无法控制或知晓资源的精确位置,但可以在高层抽象指定位置(例如,国家、洲或数据中心)。资源范例包括存储、处理器、内存和网络带宽。
快速灵活性 – 资源能够灵活调配并下发,并在某些情况下可按需自动而快速的向外/向内等量伸缩。对于消费者,可调配的资源总是无限可用的,而且可在任何时候使用任意数量的资源。
可度量服务 – 通过利用适用于服务类型的某些抽象层级的度量机制(例如,存储、处理器、带宽以及活动的用户帐户),云计算系统能够自动控制并优化资源的使用。能够监控、控制和报告资源使用率,为服务提供商和消费者提供透明的服务使用情况。
服务模型
Software-as-a-Service (SaaS) – 提供给消费者的资源运行在服务提供商的云计算基础架构之上。可以从各种客户端设备访问该应用程序,通过瘦客户端接口,例如Web浏览器,或是程序接口。消费者并不管理或控制底层的云计算基础架构,包括网络、服务器、操作系统、存储、或甚至应用程序本身,或许只允许部分受限的用户特定的应用程序设置。
Platform-as-a-Service(PaaS) - 提供可将使用由提供商支持的编程语言、库、服务和工具,由消费者创建或收购来的应用程序部署在云计算基础架构上的能力。消费者并不管理或控制底层云计算基础架构,包括网络、服务器、操作系统、存储,但对部署的应用程序有控制权,或许还可以配置宿主应用程序的环境。
Infrastructure-as-a-Service(IaaS)- 为消费者提供调配处理器、存储、网络以及其他可用于运行任意软件的基础计算资源的能力,包括操作系统和应用程序。消费者并不管理或控制底层云计算基础架构,但可以控制操作系统、存储和部署的应用程序,可能还被允许有限制的选择网络组件(例如,主机防火墙)。
部署模型
私有云 – 云计算基础架构调配后用于包括多个消费者(例如业务单元)的单个组织,该云计算基础架构可以由该组织、第三方机构或他们的组合来拥有、管理和运营,所有基础架构可以位于组织内部或外部。
社区云 - 云计算基础架构调配后用于某个拥有相同需求(例如,使命、安全需求、策略、合规性考虑)的消费者社区。该云计算基础架构可以由该社区中的一个或多个组织、第三放架构或他们的组合来拥有、管理和运营,所有基础架构可位于组织内部或外部。
公有云 - 云计算基础架构调配后用于公众,该云计算基础架构可以由商业组织、学术组织或政府组织、或者他们的组合来拥有、管理和运营,所有基础架构位于云计算服务提供商。
混合云 – 由两个或更多独立的云计算基础架构(私有、社区或公有)组成,通过标准或私有技术绑定在一起,实现数据和应用程序的可移植性(portability)。
2. 基本概念
网络附加存储(Network Attached Storage,NAS):
是一种专门的数据存储技术的名称,它可以直接连接在计算机网络上面,对异质网络用户提供了集中式数据访问服务。
NAS和传统的文件存储服务或直接存储设备不同的地方,在于NAS设备上面的操作系统和软件只提供了数据存储、数据访问、以及相关的管理功能;此外,NAS设备也提供了不止一种文件传输协议。NAS系统通常有一个以上的硬盘,而且和传统的文件服务器一样,通常会把它们组成RAID来提供服务;有了NAS以后,网络上的其他服务器就可以不必再兼任文件服务器的功能。NAS的型式很多样化,可以是一个大量生产的嵌入式设备,也可以在一般的计算机上运行NAS的软件。
NAS用的是以文件为单位的通信协议,例如像是NFS(在UNIX系统上很常见)或是SMB(常用于Windows系统)。NAS所用的是以文件为单位的通信协议,大家都很清楚它们的运作模式,相对之下,存储区域网络(SAN)用的则是以区块为单位的通信协议、通常是通过SCSI再转为光纤通道或是iSCSI。(还有其他各种不同的SAN通信协议,像是ATA over Ethernet和HyperSCSI,不过这些都不常见。)
NAS计算机或设备用的通常是精简版的操作系统,只提供了最单纯的文件服务和其相关的通信协议;举例来说,有一个叫FreeNAS的开放源代码NAS软件用的就是精简版的FreeBSD,它可以在一般的计算机硬件上运行,而商业化的嵌入式设备用的则是封闭源码的操作系统和通信协议程序。
存储区域网络(Storage Area Network, SAN):
是一种连接外接存储设备和服务器的架构。人们采用包括光纤通道技术、磁盘阵列、磁带柜、光盘柜(en)的各种技术进行实现。该架构的特点是,连接到服务器的存储设备,将被操作系统视为直接连接的存储设备。尽管SAN的复杂度和价格已经下降,但目前在大型企业级存储方案以外还应用不甚广泛。
与SAN相比较,网络储存设备(NAS, Network Attached Storage)使用的是基于文件的通信协议,例如NFS或SMB/CIFS通信协议就被明确的定义为远程存储设备,计算机请求访问的是抽象文件的一段内容,而非对磁盘进行的块设备操作。
HBA:
我们知道网卡是用于连接计算机和计算机网络。网卡一般插在计算机大总线扩展槽上,卡上有连接计算机网络的接口。网卡物理上连接计算机内部总线,例如PCI,PCI-X,PCI-E,SUN的Sbus总线等,和计算机网络,例如以太网等。存储系统中也有类似的用于连接计算机内部总线和存储网络的设备。这种位于服务器上与存储网络连接的设备一般称为主机总线适配卡(Host Bus Adaptor)HBA。HBA是服务器内部的I/O通道与存储系统的I/O通道之间的物理连接。最常用的服务器内部I/O通道是PCI和Sbus,它们是连接服务器CPU和外围设备的通讯协议。存储系统的I/O通道实际上就是光纤通道。而HBA的作用就是实现内部通道协议PCI或Sbus和光纤通道协议之间的转换。
常见的服务器和存储设备之间的数据通讯协议是IDE,SCSI和光纤通道。为了实现服务器和存储设备之间的通讯,通讯的两端都需要实现同样的通讯协议。存储设备上通常都有控制器,控制器实现了一种或几种通讯协议,它可以实现IDE,SCSI或光纤通道等存储协议到物理存储设备的操作协议之间的转换。而服务器的通讯协议是由扩展卡或主板上的集成电路实现的,它负责实现服务器内总线协议和IDE,SCSI等存储协议的转换。例如PC机中,一般主板上都有IDE协议的功能,IDE磁盘控制器上有IDE协议的功能。因此IDE磁盘可以连接到PC机的IDE连接线上。如果磁盘只支持SCSI协议,那么这种磁盘就不能直接与PC机连接。这时就需要在PC机扩展槽上插入一块SCSI卡,SCSI磁盘可以与卡连接。SCSI卡实现了PC总线到SCSI的转换。这种SCSI卡实现的功能就是主机总线适配卡的功能。如果磁盘只支持光纤通道协议,那么服务器上就需要支持光纤通道协议,因为光纤通道的高速特性一般服务器主板都不支持,需要专门的主机总线适配卡。服务器插入主机总线适配卡后,就可以与支持光纤通道的磁盘通过光纤通道连接了。
故障转移:
在计算机术语中,故障转移,即当活动的服务或应用意外终止时,快速启用冗余或备用的服务器、系统、硬件或者网络接替它们工作。 故障转移与交换转移操作基本相同,只是故障转移通常是自动完成的,没有警告提醒手动完成,而交换转移需要手动进行。
对于要求高可用和高稳定性的服务器、系统或者网络,系统设计者通常会设计故障转移功能。
在服务器级别,自动故障转移通常使用一个“心跳”线连接两台服务器。只要主服务器与备用服务器间脉冲或“心跳”没有中断,备用服务器就不会启用。为了热切换和防止服务中断,也可能会有第三台服务器运行备用组件待命。当检测到主服务器“心跳”报警后,备用服务器会接管服务。有些系统有发送故障转移通知的功能。
有些系统故意设计为不能进行完全自动故障转移,而是需要管理员介入。这种“人工确认的自动故障转移”配置,当管理员确认进行故障转移后,整个过程将自动完成。
负载均衡:
负载均衡(Load balancing)是一种计算机网络技术,用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载,以达到优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。
使用带有负载均衡的多个服务组件,取代单一的组件,可以通过冗余提高可靠性。负载均衡服务通常是由专用软件和硬件来完成。
Cluster:
计算机集群(Cluster)简称集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机,比如工作站或超级计算机性能价格比要高得多。
Switch:
网络交换器(英语:Network switch)是一个扩大网络的器材,能为子网中提供更多的连接端口,以便连接更多的计算机。交换机工作于OSI参考模型的第二层,即数据链路层。交换机内部的CPU会在每个端口成功连接时,通过ARP协议学习它的MAC地址,保存成一张ARP表。在今后的通讯中,发往该MAC地址的数据包将仅送往其对应的端口,而不是所有的端口。因此,交换机可用于划分数据链路层广播,即冲突域;但它不能划分网络层广播,即广播域。
软分区:
软分区的含义是交换机将设备的全局名称放在一个分区中,而不管连接的是哪个端口。例如,如果全局名称Q和全局名称Z在同一个分区中,那么它们可以互相对话。相同的,如果Z和A又在另一个分区,那么Z和A可以看到对方,但是A不能看到Q.这是分区的复杂性部分;这种特点在以太网交换机中并不常见。
软分区的概念不难理解。它只是简单的表明架构是基于节点的全局名称。使用这种软分区的好处是,你可以连接到交换机的任何一个端口,而且如果你能看到其他节点,那么你也能访问这些节点。
从管理性的角度来看,软分区环境简直是一团糟。进行维护时,你必须知道每个节点连接到哪里。如果使用软分区,在交换机上就没有关于端口的描述,因为这些端口的信息很可能很快就过时。此外,软分区还有一定的安全风险。就每个人所相信的而言,没有人曾经看到过一个黑客正在试图哄骗全局名称的过程,但是这种行为是可能的。通过改变设备的全局名称来改变它的分区是非常困难的,因为黑客不知道哪些全局名称可以访问他所想要进入的分区。你总不会把自己的交换机设置信息放在大庭广众之下吧?
硬分区:
硬分区更类似以太网世界中的虚拟局域网。如果将一个端口放到一个分区,任何连接到这个端口的流量都是来自这个分区,或所设置的数个分区。当然,如果有人可以移动光缆的话,那么这种分区在面对物理攻击的时候就没那么安全了。但是,你需要担心这种情况吗?因此对于SAN来说,最好的设置是:交换机硬分区,并且对可以访问阵列端(target)逻辑单元号(LUN)的全局名称进行限制。你的存储阵列还需要全局名称屏蔽,以便多个发起端(initiator)可以被分区设置成可以同时看到阵列端。
一些人的分区架构想法很奇怪。将相同操作系统放在一个分区看起来是个好主义,但在实际上没有任何意义。过去人们总是很容易害怕将Windows服务器和使用不同操作系统的存储阵列放在同一个分区。当看到新的LUN时,Windows会弹出“你是否需要初始化新卷?”对话窗口,而且如果Windows管理员顺手决定点击“是”的话,那么他就破坏了其他人的逻辑单元号。如果存储阵列有逻辑单元号屏蔽的话,那么这就不成问题。
SCSI:
小型计算机系统接口(SCSI,Small Computer System Interface)是一种用于计算机及其周边设备之间(硬盘、软驱、光驱、打印机、扫描仪等)系统级接口的独立处理器标准。SCSI标准定义了命令、通信协议以及实体的电气特性(换成OSI的说法,就是占据了物理层、链接层、通信层、应用层),最大部份的应用是在存储设备上(例如硬盘、磁带机);但,其实SCSI可以连接的设备包括有扫描仪、光学设备(像CD、DVD)、打印机……等等,SCSI命令中有条列出支持的设备SCSI周边设备。理论上,SCSI不可能连接所有的设备,所以有“1Fh - unknown or no device type”这个参数存在。
Fibre Channel:
光纤通道(Fibre Channel,简称FC)是一种高速网络互联技术(通常的运行速率有2Gbps、4Gbps、8Gbps和16Gbps),主要用于连接计算机存储设备。光纤通道由信息技术标准国际委员会(INCITS)的T11技术委员会标准化。INCITS受美国国家标准学会(ANSI)官方认可。过去,光纤通道大多用于超级计算机,但它也成为企业级存储SAN中的一种常见连接类型。尽管被称为光纤通道,但其信号也能在光纤之外的双绞线上运行。
光纤通道协议(Fibre Channel Protocol,FCP)是一种类似于TCP的传输协议,大多用于在光纤通道上传输SCSI命令。
iSCSI:
iSCSI又称为IP-SAN,是一种基于因特网及SCSI-3协议下的存储技术,由IETF提出,并于2003年2月11日成为正式的标准。与传统的SCSI技术比较起来,iSCSI技术有以下三个革命性的变化:
把原来只用于本机的SCSI协同透过TCP/IP网络传送,使连接距离可作无限的地域延伸;
连接的服务器数量无限(原来的SCSI-3的上限是15);
由于是服务器架构,因此也可以实现在线扩容以至动态部署。
FCoE:
以太网路光纤通道标准(英语:Fibre Channel over Ethernet,缩写为FCoE),是一种通讯技术标准。它利用以太网路,传送光纤通道(Fibre Channel)的讯框,让光纤通信的资料可以在10 Gigabit以太网路网络骨干中传输,但仍然是使用光纤通道的协定。它属于INCITS T11 FC-BB-5标准的一部份。
SATA:
串行ATA(Serial ATA: Serial Advanced Technology Attachment)是串行SCSI(SAS: Serial Attached SCSI)的孪生兄弟。两者的排线兼容,SATA硬盘可接上SAS接口。它是一种计算机总线,主要功能是用作主板和大量存储设备(如硬盘及光盘驱动器)之间的数据传输之用。
2000年11月由“Serial ATA Working Group”团体所制定,SATA已经完全取代旧式PATA(Parallel ATA或旧称IDE)接口的旧式硬盘,因采用串行方式传输数据而得名。在数据传输上这一方面,SATA的速度比以往更加快捷,并支持热插拔,使计算机运作时可以插上或拔除硬件。另一方面,SATA总线使用了嵌入式时钟频率信号,具备了比以往更强的纠错能力,能对传输指令(不仅是数据)进行检查,如果发现错误会自动矫正,提高了数据传输的可靠性。不过,SATA和以往最明显的分别,是用上了较细的排线,有利机箱内部的空气流通,某程度上增加了整个平台的稳定性。
现时,SATA分别有SATA 1.5Gbit/s、SATA 3Gbit/s和SATA 6Gbit/s三种规格。未来将有更快速的SATA Express规格。
RAID:
独立硬盘冗余阵列(RAID, Redundant Array of Independent Disks),旧称廉价磁盘冗余阵列,简称硬盘阵列。其基本思想就是把多个相对便宜的硬盘组合起来,成为一个硬盘阵列组,使性能达到甚至超过一个价格昂贵、容量巨大的硬盘。根据选择的版本不同,RAID比单颗硬盘有以下一个或多个方面的好处:增强数据集成度,增强容错功能,增加处理量或容量。另外,磁盘阵列对于计算机来说,看起来就像一个单独的硬盘或逻辑存储单元。分为RAID-0,RAID-1,RAID-1E,RAID-5,RAID-6,RAID-7,RAID-10,RAID-50,RAID-60。
简单来说,RAID把多个硬盘组合成为一个逻辑扇区,因此,操作系统只会把它当作一个硬盘。RAID常被用在服务器计算机上,并且常使用完全相同的硬盘作为组合。由于硬盘价格的不断下降与RAID功能更加有效地与主板集成,它也成为了玩家的一个选择,特别是需要大容量存储空间的工作,如:视频与音频制作。
最初的RAID分成了不同的等级,每种等级都有其理论上的优缺点,不同的等级在两个目标间取得平衡,分别是增加数据可靠性以及增加存储器(群)读写性能。这些年来,出现了对于RAID观念不同的应用。