FusionStroage基础

1、最初的问题

一、什么是分布式存储?

传统定义:分布式存储系统是大量 PC 服务器通过 Internet 互联,对外提供一个整体的服务。

通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。

二、为什么需要分布式存储?

大型企业面对海量的数据,传统存储的性能已经跟不上实际业务的需求;中小型企业则是因为单台存储服务器的成本太高,使用服务器自带的硬盘可以有效的降低成本,还能满足业务需求

服务器(12块盘,系统盘2块做Raid1,数据盘10块用作分布式存储)

三、相对传统存储而言,有什么优势?

可扩展:分布式存储系统可以扩展到数百甚至数千个这样的集群大小,并且系统的整体性能可以线性增长。

低成本:分布式存储系统的自动容错和自动负载平衡允许在低成本服务器上构建分布式存储系统。此外,线性可扩展性还能够增加和降低服务器的成本,并实现分布式存储系统的自动操作和维护。

高性能:无论是针对单个服务器还是针对分布式存储群集,分布式存储系统都需要高性能。

易用性:分布式存储系统需要提供方便易用的界面。此外,他们还需要拥有完整的监控和操作工具,并且可以轻松地与其他系统集成。

如果购买传统存储厂商的存储服务器,其存储扩容也只能选用该厂商的,容易被制约。

四、有哪些主流分布式存储解决方案

1. Ceph

2. Glusterfs

3. Vmware VSAN

4. FusionStorage

分别下载对应版本的软件

FusionStorage Block  块存储 Cinder

FusionStorage Object 对象存储 Swift

FusionStorage File   文件存储  NAS

Ceph一个软件可以实现3种存储,主流的分布式存储大部分都是选用开源的Ceph二次开发

2、华为Server SAN产品FusionStorage

1)分布式块存储软件

将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池

对非虚拟化环境的上层应用和虚拟机提供工业界标准的SCSI和iSCSI接口(分布式存储大多使用以太网接口,扩展性好)

开放的API

2)传统SAN架构

存储资源独占、资源孤岛(存储资源)、信息孤岛(数据无法共享)

SAN适用于结构化数据,NAS适用于非结构化数据

截图.png

3)分布式Server SAN架构

截图.png

4)方案选择参考

截图.png

5)兼容性---硬件&软件

硬件兼容性主要包括:

服务器

HDD盘,SSD盘,PCIE SSD卡/盘

RAID卡,以太网卡,Infiniband卡

软件兼容性主要包括:

虚拟化平台

操作系统

数据库软件

6)FSC部署FS

截图.png

安装FSA(相当于CNA里的VNA)

截图.png

截图.png

融合部署和分离部署严谨的说是一台虚拟机的计算资源和存储资源是否来自同一台服务器,虚拟化场景适合使用融合部署,计算资源和存储资源由同一台服务器提供,可以提高性能

2、FusionStorage逻辑架构

截图.png

1)FSM(FusionStorageManager):FusionStorage管理模块,提供告警、监控、日志、配置等操作维护功能。一般情况下FSM主备节点部署

2)FSA(FusionStorageAgent):代理进程,部署在各节点上,实现各节点与FSM通信。FSA包含MDC、VBS和OSD三种不同的进程。根据系统不同配置要求,分别在不同的节点上启用不同的进程组合来完成特定的功能

3)MDC(MetaDataController):元数据控制,数据映射表等实现对分布式集群的状态控制,以及控制数据分布式规则、数据重建规则等。 MDC默认部署在3个节点的ZK(Zookeeper)盘上,形成MDC集群。MDC相当于火车的火车头,使用Zookeeper集群管理,所以为奇数部署。

扩展:

zookeeper=文件系统+监听通知机制

统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等

4)VBS(VirtualBlock System):虚拟块存储管理组件,负责卷元数据的管理,提供分布式集群接入点服务,使计算资源能够通过VBS访问分布式存储资源。每个节点上默认部署一个VBS进程,形成VBS集群。节点上也可以通过部署多个VBS来提升IO性能

5)OSD(ObjectStorage Device):对象存储设备服务,执行具体的I/O操作。在每个服务器上部署多个OSD进程,一块磁盘默认对应部署一个OSD进程。在SSD卡作主存时,为了充分发挥SSD卡的性能,可以在1张SSD卡上部署多个OSD进程进行管理,例如2.4TB的SSD卡可以部署6个OSD进程,每个OSD进程负责管理400GB

VBS和OSD可以部署在同一台服务器,也可以分离部署;部署在同一台服务器叫融合部署,部署在不同服务器叫分离部署;分离部署中,只部署VBS的只做计算节点,只部署OSD的只做存储节点,数据通过VBS写入各个OSD中

虚拟化应用推荐采用融合部署的方式部署

高性能数据库应用则推荐采用分离部署的方式

当下中小型企业流行的部署方式

截图.png

截图.png

posted @ 2023-03-26 20:28  风有遗霜  阅读(186)  评论(0编辑  收藏  举报