【beegfs相关】beegfs集群部署

一、前言

1、概述

参考资料：
beegfs源码地址
 beegfs官方文档
 beegfs FAQ

BeeGFS是行业领先的并行集群文件系统，设计时优先考虑性能强大的同时，安装和管理非常方便，是I/O密集型工作负载的优质存储开源解决方案，软件整体架构如下图所示：

组件名称	组件包名称	说明
管理服务	beegfs-mgmtd	管理服务用于监控所有已注册服务的状态，不存储用户任何数据注：在进行元数据服务、存储服务、客户端服务配置时，都需要指向管理服务节点IP地址，一般集群部署需要第一个部署的服务，有且只有一个
元数据服务	beegfs-meta	元数据服务用于存储文件的元数据信息，如目录结构、权限信息、数据分片存放位置等，一个文件对应一个元数据文件，客户端打开文件时，由元数据服务向客户端提供数据具体存放节点位置，之后客户端直接与存储服务进行数据读写操作,可支持横向扩展，增加多个元数据服务用以提升文件系统性能
存储服务	beegfs-storage	存储服务用于存储条带化后的数据块文件
客户端服务	beegfs-client beegfs-helperd	客户端服务用于集群存储空间挂载，当服务开启时自动挂载到本地路径，之后可通过nfs/samba服务将本地挂载点导出，提供linux/windows客户端访问注：挂载路径通过/etc/beegfs/beegfs-mounts.conf 配置文件指定 beegfs-helperd主要用于日志写入，不需要任何额外配置
命令行组件	beegfs-utils beegfs-common	提供命令行工具，如beegfs-ctl、beegfs-df、beegfs-fsck等

配置文件路径：/etc/beegfs/{package-name}.conf
日志文件路径：/var/log/{package-name}.log
服务控制控制管理：systemctl status/start/stop/restart {package-name}
应用程序文件路径：/opt/beegfs/sbin/

注：{package-name}为对应组件包名称，如beegfs-mgmtd等

二、安装部署

节点名	节点IP	节点角色	软件版本
node190	172.16.21.190	mgmtd、meta、storage、client	系统版本：CentOS 7.6 软件版本：BeeGFS 7.2.4
node191	172.16.21.191	meta、storage、client	系统版本：CentOS 7.6 软件版本：BeeGFS 7.2.4

1、配置集群ssh免密登录

配置集群节点主机名和IP映射关系，同步到所有集群节点上

[root@node190 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.21.190    node190
172.16.21.191    node191
[root@node190 ~]# scp /etc/hosts 172.16.21.191:/etc/

配置机器A到机器B ssh免密登录

机器A执行ssh-keygen ：在本地~/.ssh目录下生成公钥文件id_rsa.pub 和私钥文件id_rsa
机器A执行ssh-copy-id {target-hostname} ：将机器A公钥文件id_rsa.pub 信息追加到机器B~/.ssh/authorized_keys 文件，实现机器A到机器B ssh免密登录

配置node190->node191 ssh免密登录
[root@node190 ~]# ssh-keygen 
[root@node190 ~]# ssh-copy-id node191


配置node190<-node191 ssh免密登录
[root@node191 ~]# ssh-keygen 
[root@node191 ~]# ssh-copy-id node190

2、软件安装

查看beegfs最新稳定版本源：https://www.beegfs.io/release/beegfs_7.2.4/dists/beegfs-rhel7.repo

示例如下：
yum install wget -y
yum install ca-certificates -y
wget -O /etc/yum.repos.d/beegfs-rhel7.repo https://www.beegfs.io/release/latest-stable/dists/beegfs-rhel7.repo
yum install beegfs-mgmtd -y
yum install beegfs-meta -y
yum install beegfs-storage -y 
yum install beegfs-helperd beegfs-client beegfs-utils -y

3、集群部署

3.1、部署管理服务

1）、部署服务：

/opt/beegfs/sbin/beegfs-setup-mgmtd -p {mgmtd_path}

-p：mgmtd_path 为管理服务数据存放目录

注：执行此命令后，会在mgmtd_path下生成format.conf 文件，更新/etc/beegfs/beegfs-mgmtd.conf 配置文件（storeMgmtdDirectory、storeAllowFirstRunInit 参数）

2）、启动服务：

systemctl restart beegfs-mgmtd

示例如下：
mkdir -p /data/mgmtd
/opt/beegfs/sbin/beegfs-setup-mgmtd -p /data/mgmtd/
systemctl restart beegfs-mgmtd

3.2、部署元数据服务

1）、部署服务：

/opt/beegfs/sbin/beegfs-setup-meta -p {meta_path} -s {meta_id} -m {mgmtd_host}

-p：meta_path 为元数据服务数据存放目录
-s：meta_id 为元数据服务ID，同一集群元数据服务id值不能重复
-m：mgmtd_host 为管理服务节点主机名或者IP地址，此处任选其一均可

注：执行此命令后，会在meta_path 下生成format.conf 和nodeNumID 文件，更新/etc/beegfs/beegfs-meta.conf 配置文件（sysMgmtdHost 、storeMetaDirectory 、storeAllowFirstRunInit 、storeFsUUID 参数）

2)、启动服务：

systemctl restart beegfs-meta

示例如下：
--node190节点使用/dev/sdb1存放元数据，分配元数据服务ID为190，指定管理服务节点主机名为node190--
mkdir /data/meta -p
mount /dev/sdb1 /data/meta/
/opt/beegfs/sbin/beegfs-setup-meta -p /data/meta/ -s 190 -m node190
systemctl restart beegfs-meta

--node191节点使用/dev/sdb1存放元数据，分配元数据服务ID为191，指定管理服务节点主机名为node190--
mkdir /data/meta -p
mount /dev/sdb1 /data/meta/
/opt/beegfs/sbin/beegfs-setup-meta -p /data/meta/ -s 191 -m node190
systemctl restart beegfs-meta

3.3、部署存储服务

1）、部署服务：

/opt/beegfs/sbin/beegfs-setup-storage -p {storage_path} -s {storage_host_id} -i {storage_id} -m {mgmtd_host}

-p：storage_path 为存储服务数据存放目录
-s：storage_host_id 为存储服务节点id，同一节点上的存储服务id一致，一般以ip地址命名
-i：storage_id 为存储服务id，同一集群存储服务id值不能重复
-m：mgmtd_host 为管理服务节点主机名或者IP地址，此处任选其一均可

注：执行此命令后，会在storage_path 下生成format.conf 、nodeNumID 、targetNumID 文件，更新/etc/beegfs/beegfs-client.conf 配置文件（sysMgmtdHost 、storeStorageDirectory 、storeAllowFirstRunInit 、storeFsUUID 参数）

启动服务：
systemctl restart beegfs-storage

示例如下：
--node190节点使用/dev/sdc1和/dev/sdd1存放数据，指定存储服务节点ID为190，存储服务ID为1901和1902，管理服务节点主机名为node190--
mkdir /data/storage0{1..2} -p
mount /dev/sdc1 /data/storage01/
mount /dev/sdd1 /data/storage02/
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage01 -s 190 -i 1901 -m node190
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage02 -s 190 -i 1902 -m node190
systemctl restart beegfs-storage

--node191节点使用/dev/sdc1和/dev/sdd1存放数据，指定存储服务节点ID为191，存储服务ID为1911和1912，管理服务节点主机名为node190--
mkdir /data/storage0{1..2} -p
mount /dev/sdc1 /data/storage01/
mount /dev/sdd1 /data/storage02/
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage01 -s 191 -i 1911 -m node190
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage02 -s 191 -i 1912 -m node190
systemctl restart beegfs-storage

3.4、部署客户端服务

1）、部署服务：

/opt/beegfs/sbin/beegfs-setup-client -m {mgmtd_host}

-m：mgmtd_host 为管理服务节点主机名或者IP地址，此处任选其一均可

注：执行此命令后，会更新/etc/beegfs/beegfs-client.conf 配置文件（sysMgmtdHost 参数）
客户端默认将集群目录挂载到/mnt/beegfs ，如需修改挂载点，修改/etc/beegfs/beegfs-mounts.conf 配置文件即可

2）、启动服务：

systemctl restart beegfs-helperd; systemctl restart beegfs-client

示例如下：
/opt/beegfs/sbin/beegfs-setup-client -m node190
systemctl restart beegfs-helperd; systemctl restart beegfs-client

4、配置镜像组

参考wiki：BuddyGroups
参考aws：如何在 AWS 上构建并行文件系统 BeeGFS – 高可用篇

4.1、概述

4.1.1、BuddyGroups说明

beegfs通过BuddyGroups实现数据和元数据冗余，通常一个Buddy Group为一组两个目标，组内两个目标彼此进行数据复制，当一个目标出现故障时仍可以访问所有的数据，可以将Buddy Group两个目标存放于不同灾备区域（如不同机房、机架、节点），实现机房、机架、节点级别故障冗余。

Buddy Group两个目标有主辅之分，一个目标为主存储（primary），一个目标为辅存储（secondary），进行数据读写时，读写操作先发送到主存储，之后主存储同步写入到辅存储，当两个副本读写操作完成后，返回前端应用操作完成。

4.1.2、BuddyGroups故障切换

当Buddy Group主目标无法访问时，等待短暂时间后仍无法恢复，则会被标记为脱机状态，此时辅目标将会成为新的主目标接管服务
可通过beegfs-ctl --listtargets --nodetype={node_type} --state查询目标状态，相关状态描述如下：

[root@node190 ~]# beegfs-ctl --listtargets --nodetype=meta --state
TargetID     Reachability  Consistency   NodeID
========     ============  ===========   ======
       1           Online         Good        1
       2           Online         Good        2

[root@node190 ~]# beegfs-ctl --listtargets --nodetype=storage --state
TargetID     Reachability  Consistency   NodeID
========     ============  ===========   ======
       1           Online         Good      190
       3           Online         Good      191

Reachability（可达性）
用于描述系统是否可以访问到目标，当管理服务监控到Buddy Group中的主目标无法访问，会自动进行故障转移，由辅目标提供读写操作
- Online：可以访问此目标
- Probably-offline：检测到此目标通信失败，有可能是服务重启或者短期网络故障造成，此状态下，关于该目标可能出现故障的信息将会广播到所有节点，以便系统做好故障转移准备
- Offline：无法达到此目标，如果此目标为某一Buddy Group组的主目标，将会在目标转换为脱机状态时立即发起故障转移，由同组Buddy Group辅目标接管读写操作
Consistency（一致性）
用于描述数据一致性状态
- Good：目标数据被认为是好的
- Needs-resync：目标数据被认为是不同步的，尝试重新同步中
- Bad：目标数据被认为是不同步的，尝试重新同步失败

4.2、配置说明

自动创建镜像组：beegfs-ctl --addmirrorgroup --automatic --nodetype={node_type}
注：如需手动指定Buddy Group目标分布，确保同一Buddy Group组两个目标落在不同故障域上，可使用beegfs-ctl --addmirrorgroup --nodetype={node_type} --primary={target_id} --secondary={target_id} --groupid={group_id}

示例如下，自动创建元数据、数据镜像组：
[root@node190 ~]# beegfs-ctl --addmirrorgroup --automatic --nodetype=meta

New mirror groups:
BuddyGroupID   Node type Node
============   ========= ====
           1     primary        1 @ beegfs-meta node190 [ID: 1]
               secondary        2 @ beegfs-meta node191 [ID: 2]

Mirror buddy group successfully set: groupID 1 -> target IDs 1, 2

[root@node190 ~]# beegfs-ctl --addmirrorgroup --automatic --nodetype=storage

New mirror groups:
BuddyGroupID Target type Target
============ =========== ======
           1     primary        1 @ beegfs-storage node190 [ID: 190]
               secondary        3 @ beegfs-storage node191 [ID: 191]

Mirror buddy group successfully set: groupID 1 -> target IDs 1, 3

激活元数据镜像：beegfs-ctl --mirrormd
注：执行此操作前，需要停止所有客户端挂载操作systemctl stop beegfs-client
执行此操作后，需要重启元数据服务systemctl restart beegfs-meta，重新挂载客户端systemctl restart beegfs-client

示例如下：
[root@node190 ~]# beegfs-ctl --mirrormd
Operation succeeded.

NOTE:
 To complete activating metadata mirroring, please remount any clients and
 restart all metadata services now.

设置条带模式：beegfs-ctl --setpattern --pattern={pattern_type} --chunksize={chunk_size} --numtargets={target_num} {mount_path}
- {pattern_type}：设置使用的条带模式，可选raid0（默认值）或buddymirror
- {chunk_size}：每个存储目标条带大小，默认为512K
- {target_num}：每个文件条带目标数，当设置为buddymirror模式时，参数值为buddy group组数

三、Q&A

1、常用操作

1.1、集群使用多元数据部署

在实践操作中，往往我们需要通过部署多元数据来提升集群性能，示例为单节点起3个元数据服务（meta1、meta2、meta3），参考步骤如下：

1）、创建元数据配置文件，指定服务日志路径及服务监听端口

默认情况下，元数据日志路径为/var/log/beegfs-meta.log，服务监听端口为8005，由于需要起多个元数据服务，故针对不同元数据服务指定不同的日志路径和服务监听端口

创建3个目录用于存放3个元数据服务配置文件，将默认配置文件/etc/beegfs/beegfs-meta.conf拷贝到对应目录下

mkdir /etc/beegfs/meta{1..3}.d/
cp /etc/beegfs/beegfs-meta.conf /etc/beegfs/meta1.d/
cp /etc/beegfs/beegfs-meta.conf /etc/beegfs/meta2.d/
cp /etc/beegfs/beegfs-meta.conf /etc/beegfs/meta3.d/

修改元数据服务配置文件，指定日志路径和监听端口
指定元数据服务meta1日志路径为/var/log/beegfs-meta1.log，服务监听端口为8005
指定元数据服务meta2日志路径为/var/log/beegfs-meta2.log，服务监听端口为8007
指定元数据服务meta3日志路径为/var/log/beegfs-meta3.log，服务监听端口为8009

sed -i 's#logStdFile                   = /var/log/beegfs-meta.log#logStdFile                   = /var/log/beegfs-meta1.log#'  /etc/beegfs/meta1.d/beegfs-meta.conf
sed -i 's#logStdFile                   = /var/log/beegfs-meta.log#logStdFile                   = /var/log/beegfs-meta2.log#'  /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#connMetaPortTCP              = 8005#connMetaPortTCP              = 8007#'  /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#connMetaPortUDP              = 8005#connMetaPortUDP              = 8007#'  /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#logStdFile                   = /var/log/beegfs-meta.log#logStdFile                   = /var/log/beegfs-meta3.log#'  /etc/beegfs/meta3.d/beegfs-meta.conf
sed -i 's#connMetaPortTCP              = 8005#connMetaPortTCP              = 8009#'  /etc/beegfs/meta3.d/beegfs-meta.conf
sed -i 's#connMetaPortUDP              = 8005#connMetaPortUDP              = 8009#'  /etc/beegfs/meta3.d/beegfs-meta.conf

部署元数据服务：/opt/beegfs/sbin/beegfs-setup-meta -c {meta_config} -p {meta_path} -s {meta_id} -m {mgmtd_host}
- -c：meta_config为元数据服务配置文件路径
- -p：meta_path 为元数据服务数据存放目录
- -s：meta_id 为元数据服务ID，同一集群元数据服务id值不能重复
- -m：mgmtd_host 为管理服务节点主机名或者IP地址，此处任选其一均可

/opt/beegfs/sbin/beegfs-setup-meta -c /etc/beegfs/meta1.d/beegfs-meta.conf  -p /data/meta1 -s 1 -m node190
/opt/beegfs/sbin/beegfs-setup-meta -c /etc/beegfs/meta2.d/beegfs-meta.conf  -p /data/meta2 -s 2 -m node190
/opt/beegfs/sbin/beegfs-setup-meta -c /etc/beegfs/meta3.d/beegfs-meta.conf  -p /data/meta3 -s 3 -m node190

启动元数据服务

systemctl restart beegfs-meta@meta1
systemctl restart beegfs-meta@meta2
systemctl restart beegfs-meta@meta3

1.2、指定beegfs集群通讯使用网卡

参考官方文档：Network Configuration

1）、操作步骤

添加需要使用的网卡名称到配置文件/etc/beegfs/tcp-only-interfaces.conf
如使用网卡bond0作为beegfs集群通讯使用网卡，echo bond0 > /etc/beegfs/tcp-only-interfaces.conf
添加connInterfacesFile = /etc/beegfs/tcp-only-interfaces.conf配置到所有beegfs服务配置中

sed -i 's#connInterfacesFile                     =#connInterfacesFile                     = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/beegfs-mgmtd.conf
systemctl restart beegfs-mgmtd

sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/meta1.d/beegfs-meta.conf
sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/meta3.d/beegfs-meta.conf
systemctl restart beegfs-meta@meta1
systemctl restart beegfs-meta@meta2
systemctl restart beegfs-meta@meta3

sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/beegfs-storage.conf
systemctl restart beegfs-storage

sed -i 's#connInterfacesFile            =#connInterfacesFile            = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/beegfs-client.conf
systemctl restart beegfs-client

2）、验证测试

执行beegfs-check-servers命令，查看beegfs集群角色通讯使用IP地址跟指定网卡是否匹配

[root@node57 ~]# beegfs-check-servers 
Management
==========
node57 [ID: 1]: reachable at 172.16.33.101:8008 (protocol: TCP)

Metadata
==========
571 [ID: 1]: reachable at 172.16.33.101:8005 (protocol: TCP)
572 [ID: 2]: reachable at 172.16.33.101:8009 (protocol: TCP)
573 [ID: 3]: reachable at 172.16.33.101:8007 (protocol: TCP)

Storage
==========
node57 [ID: 57]: reachable at 172.16.33.101:8003 (protocol: TCP)

2、常用命令

查看集群服务连接情况：beegfs-net
查看集群服务详细信息：beegfs-ctl --listnodes --nodetype={node_type} --details
注：{node_type}为beegfs集群节点类型，可选mgmt、meta、storage、client
查看集群服务状态：beegfs-ctl --listtargets --nodetype={node_type} --state
注：{node_type}为beegfs集群节点类型，可选meta、storage
查看集群存储池状态：beegfs-df
删除集群角色：beegfs-ctl --removenode --nodetype={node_type} {node_id}
注：{node_id}可通过beegfs-net查看ID值
删除集群角色不会自动迁移对应数据到其他节点，需谨慎使用！！如需迁移数据后删除，参考官方手册：FAQ#migrate
查看集群目录属性信息：beegfs-ctl --getentryinfo {mount_path}
注：{mount-path}为beegfs集群挂载路径，当前有RAID0和Buddy Mirror两种模式

posted @ 2022-01-13 17:49 Luxf0 阅读(3041) 评论(0) 编辑收藏举报

刷新页面返回顶部

Loading

Loading

Luxf0's Blog

【beegfs相关】beegfs集群部署

一、前言

1、概述

二、安装部署

1、配置集群ssh免密登录

2、软件安装

3、集群部署

3.1、部署管理服务

1）、部署服务：

2）、启动服务：

3.2、部署元数据服务

1）、部署服务：

2)、启动服务：

3.3、部署存储服务

1）、部署服务：

3.4、部署客户端服务

1）、部署服务：

2）、启动服务：

4、配置镜像组

4.1、概述

4.1.1、BuddyGroups说明

4.1.2、BuddyGroups故障切换

4.2、配置说明

三、Q&A

1、常用操作

1.1、集群使用多元数据部署

1）、创建元数据配置文件，指定服务日志路径及服务监听端口

1.2、指定beegfs集群通讯使用网卡

1）、操作步骤

2）、验证测试

2、常用命令

公告