GPFS介绍

第一章 附录:GPFS介绍

GPFS (General ParallelFile System) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。它提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。 GPFS 也支持 UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于 GPFS 的文件系统，唯一不同的在于管理 GPFS 文件系统的命令。 GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。

一.1  GPFS系统基本结构

?  磁盘

GPFS 文件系统最底层的是物理磁盘设备。原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。从物理连接上来看，GPFS 支持使用所有方式连接的磁盘。包括本地 IDE 磁盘，本地 SCSI 磁盘，光纤 SAN 磁盘，iSCSI 磁盘，等等。

?  网络共享磁盘（NSD）

NSD 是由磁盘映射出来的虚拟设备，NSD 与磁盘是一一对应的关系。NSD 被标记了不同属性来区分其用途，我们可以将磁盘标记为 4 种用途：

ü Desc Only：只存储 GPFS 文件系统描述信息的磁盘。

ü Data Only：只存储文件系统中的数据信息。

ü Meta data only: 只存储文件系统中的目录结构 inode 信息。

ü Meta and data: 存储所有信息（默认）。

?  GPFS 文件设备

GPFS 设备是一个可被系统挂载的文件设备，由 NSD 创建而成，可以并行的同时挂载在多个节点上。

一.2  GPFS系统优势

?  高性能

GPFS 允许在同一节点内的多进程或者应用使用标准文件系统调用，同时访问（并发，读写）同一个文件。通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。

?  跨平台设计

GPFS 支持在一个集群内加入异构的平台。

支持异构的硬件环境：System p, System x。

支持异构的操作系统：AIX, Linux。

?  数据一致性

GPFS 通过一套复杂的信令管理机制提供数据一致性。通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使节点无法正常工作， GPFS 也可以找到其它的路径。

?  数据安全性

GPFS 是一种日志文件系统，为不同节点建立各自独立的日志。日志中记录 metadata 的分布，一旦节点发生故障后，可以保证快速恢复数据。

GPFS 的 fail-over 功能通过规划，将数据分布到不同 failure group 内达到高可用性，减少单点故障的影响。为了保证数据可用性， GPFS 在多个 failure group 内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS 也会自动在不同的 failure group 内复制恢复日志。

?  系统可扩展性

通过 GPFS ，系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。可以在不重新启动 GPFS 服务情况下添加新节点。

?  管理简单

GPFS 自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对 GPFS 的管理可以在任一个节点上进行。

第一章 GPFS存储平台构建方案

 摘要：当前金融行业的快速发展都离不开信息系统所提供的智能、快捷、灵活的服务。但信息加速膨胀的压力、纷繁复杂的 IT 网络、难以为继的管理、不断发展的应用类别、快速扩充的客户规模、越来越苛刻的服务水平要求， 都让银行企业面临着越来越多的挑战。建立面向服务的“存储平台”环境在金融行业已经从遥不可及的奢望变成一种迫切的现实需求。

第二章 1.      需求分析

       当前金融行业的快速发展都离不开信息系统所提供的智能、快捷、灵活的服务。但信息加速膨胀的压力、纷繁复杂的 IT 网络、难以为继的管理、不断发展的应用类别、快速扩充的客户规模、越来越苛刻的服务水平要求， 都让银行企业面临着越来越多的挑战。建立面向服务的“存储平台”环境在金融行业已经从遥不可及的奢望变成一种迫切的现实需求。

       存储平台是一种新的存储资源交付模式。它使传统的存储基础架构转变为一项服务平台，根据用户请求实现存储资源的按需部署，快速访问，弹性扩展。存储平台的最大优势在于它能帮助用户实现存储资源的高效灵活管理与总体拥有成本降低。

       从业务需求的角度，企业数据中心内部的私有云存储在构建高效率的信息基础架构前提下需要为前端应用提供如下存储服务：

Ø  存储容器服务，提供基于 LUN 或文件的存储空间服务；

Ø  数据保护服务，提供数据备份,异地容灾等存储服务；

Ø  数据归档服务，提供符合行业法规的数据归档与长期保存服务；

       而无论是提供以上一种或多种云存储服务，客户构建企业内部私有云存储时都面临着如下挑战：

1)            如何构建高效率存储池

在存储系统中集成更多的效率优化功能, 以降低存储的总体拥有成本, 比如对共享的存储池提供精简资源配置,对文件存储池提供实时在线压缩，为备份数据提供重复数据删除等。

2)            如何实现存储资源快速部署与快速访问

云存储环境下，不管是老用户需要扩展存储空间，还是新用户要求分配空间，均可以随时随地进行，可以最快速地响应用户和业务的需求。具备池化存储管理能力的云存储，意味着可以按需扩展和管理存储容量。除了容量可以弹性扩展，性能也可以得到弹性调整和灵活地优化。更换和调整设备均允许在业务不中断的前提下进行，可无缝地满足 SLA 要求。

3)            如何实现高效简便管理

云存储需具备高度便捷的管理监控能力，它通过对存储服务的可用性、性能和容量的全面监控既可以跟踪 SLA 的执行情况，让管理员的工作负荷大大减轻。

 

第三章 2.      架构方案

       GPFS存储平台的构建方案如下图所示，该方案可以满足应用对存储的不同的需求场景，具体说明如下:

 

 

(1)   关于后端存储

GPFS Server通过SAN存储光纤网络连接至底层盘阵存储，GPFS对底层存储的型号没有固定要求，根据应用的对存储及性能的要求不一样，可以选型高、中、低不同级别；

(2)   关于GPFSServer集群

从架构上GPFS Server是底层通过光纤网络连接识别了后端SAN存储的服务器，在这些服务器上创建了GPFS集群，并构建了不同的GPFS文件系统，形成了统一的GPFS存储平台，他们可以为前端应用提供统一的并行共享的文件系统空间，实现数据的共享访问；因为GPFS Server统一为前端所有应用提供I/O数据访问，在设备选型上建议使用计算能力较好的Unix Power服务器，是因为GPFS与AIX操作系统的集成度相比较对其他系统平台更好，同时也可以充分利用Power小机的计算能力；

(3)   关于GPFSClient

GPFS Client是需要访问GPFS存储平台的前端应用，他们与后端的GPFS Server处于一个集群中，但是可以根据策略挂载不同的文件系统目录，实现文件系统数据空间在不同应用之间的安全隔离；GPFS Client支持AIX，Linux，Windows不同系统平台；

(4)   关于GPFSI/O网络

从架构上来看，GPFS的I/O网络包括 GPFS Server与底层存储之间以及GPFS Client与GPFS Server之间两部分；其中GPFS Server与底层存储之间的连接主要是通过SAN光纤连接，而GPFS Client与GPFS Server之间的数据传输主要是通过TCP/IP网络；针对那些对I/O性能要求比较高的应用，为了保证I/O带宽，建议假设万兆传输能力的网络环境；

(5)   关于其他GPFS应用

针对使用GPFS文件系统的独立应用，为了满足数据共享并行访问的需求，如OracleRAC等；可以独立在SAN存储上假设GPFS文件系统；

 

About Me

....................................................................................................................................................

本文来自于微信公众号转载文章，若有侵权，请联系小麦苗及时删除

ITPUB BLOG：http://blog.itpub.net/26736162

QQ：642808185 若加QQ请注明您所正在读的文章标题

【版权所有，文章允许转载，但须以链接方式注明源地址，否则追究法律责任】

....................................................................................................................................................