GlusterFS实战
预装glusterfs软件包
yum -y install centos-release-gluster37.noarch
yum --enablerepo=centos-gluster*-test install glusterfs-server glusterfs-cli glusterfs-geo-replication
1.理论基础
1.1 分布式文件系统的出现
计算机通过文件系统存储数据
分布式文件系统可以有效解决数据存储和管理的难题，将固定于某个地点的文件系统，扩展到任意多个地点，只有
有网络的地方就可以访问
1.2典型代表NFS
NFS及网络文件系统
1，节约磁盘空间
2，节约硬件资源
3，用户目录设定
1.3面临的问题
存储空间不足，需要更大容量的存储
有一定风险，存在单点故障
某些场景不能满足要求，大量的访问磁盘IO是瓶颈
1.4GlusterFS概述
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力
，通过扩展能够支持数FB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存
储资源聚集在一起，使用单一全局命名空间来管理数据。
1.5GlusterFS在企业的应用场景
GlusterFS目前主要适用大文件存储场景，对于小文件尤其是海量小文件，存储效率和访问性能表现不佳。海量小文件LOSF问题是工业界和学术界公认的难题，GlusterFS作为通用的分布式文件系统，并没有对小文件做额外的优化措施，性能
不好也是可以理解的。
Media
- 文档，图片，音频，视频
Shared storage
- 云存储，虚拟化存储，HPC（高性能运算）
Big data
- 日志文件，数据
2.GlusterFS安装
2.1GlusterFS安装前准备
虚拟机（CentOS6.5）数台
关闭iptables和selinux
修改主机名
10.0.0.153 mystorage1
10.0.0.154 mystorage2
修改hosts添加解析
2.2安装
yum -y install centos-release-gluster37.noarch
PS：如果是centos7则可以先使用yum list|grep gluster查看最新的版本然后再安装
使用CentOS7.4需要安装yum -y install centos-release-gluster39.noarch否则在下一步安装的时候会报依赖错误
yum --enablerepo=centos-gluster*-test install glusterfs-server glusterfs-cli glusterfs-geo-replication
2.3启动（CentOS6和7启动命令不同）
启动：/etc/init.d/glusterd start
停止：/etc/init.d/glusterd stop
查看版本
glusterfs -V
2.3存储主机加入存储池
gluster peer probe 10.0.0.154
PS：在其中一台主机操作即可，其次这里需要使用IP不能使用主机名，使用主机名可能会导致挂载不成功报错为Mount failed. Please check the log file for more details
查看主机状态
gluster peer status
第一台主机查看
可以看到有一台IP是另外一台主机的IP 状态是连接状态
第二台主机查看
安装xfs支持包（centos7系统不需要安装，ext4也可以，大容量需要xfs）
yum -y install xfsprogs
新加一块数据盘（可以不分区直接格式化）
mkfs.xfs /dev/sdb
建立挂载的目录
mkdir -p /storage/brick1/
挂载
mount /dev/sdb /storage/brick1/
自动挂载
创建volume及其他操作
分布式卷，复制式卷，条带式卷，分布式条带卷，分布式的复制卷
创建分布卷
gluster volume create gv1 10.0.0.153:/storage/brick1 10.0.0.154:/storage/brick1 force
启动卷
gluster volume start gv1
查看状态
gluster volume info（两台机器都能看到）
挂载
mount -t glusterfs 127.0.0.1:/gv1 /mnt
PS：对应glusterfs客户端需要安装支持glusterfs文件的软件才能挂载
如果挂载报文件格式不支持则安装以下包
yum -y install glusterfs-libs
mount -t glusterfs 192.168.0.13:/gv1 /mnt
设置开机挂载
# cat /etc/fstab # # /etc/fstab # Created by anaconda on Wed Nov 8 09:31:18 2023 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # /dev/mapper/centos-root / xfs defaults 0 0 UUID=8104856c-f2ac-44b6-a7e4-9edc62efee21 /boot xfs defaults 0 0 /dev/mapper/centos-home /home xfs defaults 0 0 /dev/mapper/centos-swap swap swap defaults 0 0 192.168.3.203:/gv1 /data glusterfs defaults,_netdev 0 0
添加最后一行即可，文件格式使用glusterfs 并且_netdev代表使用网络挂载，这样重启主机后会自动挂载
测试分布式
在期中一台机器的mnt什么随便创建几个文件在另外一台机器能看见
在挂载的目录一次性创建10个文件
touch {1..10}
节点1的挂载目录
节点2的挂载目录
PS：分布式卷创建文件将分别在各个节点上面，假如一个节点宕机该节点存储的文件将暂时无法访问，所以在生产中一般不适应分布式卷而使用分布式复制卷
挂载以后如果gluster宕掉，只要不卸载挂载对挂载不影响，如果卸载了重新挂载那么宕机的那台服务器存储的文件将无法访问，如果是分布式复制卷则没影响
也可以使用NFS方式挂载
创建分布式复制卷
再分别新加一块硬盘（15G）
格式化，挂载
mkfs.xfs /dev/sdc
mount /dev/sdc /storage/brick2/
gluster volume create gv2 replica 2 10.0.0.153:/storage/brick2/ 10.0.0.154:/storage/brick2 force
查看信息
启动gluster volume start gv2
mount -t glusterfs 127.0.0.1:/gv2 /opt
同样在其中一台/opt创建文件在另外一台可以同步
PS：分布式复制卷在节点各复制一份完整文件
创建分布式条带卷
在新加一块硬盘
mkfs.xfs /dev/sdd
mkdir -p /storage/brick3
mount /dev/sdd /storage/brick3/
gluster volume create gv3 stripe 2 10.0.0.153:/storage/brick3/ 10.0.0.154:/storage/brick3/ force
gluster volume start gv3
新建一个文件夹用于挂载
mount -t glusterfs 127.0.0.1:/gv3 /gv3/
在gv3创建文件测试
dd if=/dev/zero bs=1024 count=10000 of=/gv3/10M.file
dd if=/dev/zero bs=1024 count=20000 of=/gv3/20M.file
然后在到原始的挂载目录可以看到文件大小平分了
同理gv2是复制卷就没有切片
添加卷（需要停止原来的卷，添加完重新启动并挂载）
新加卷以后文件还会存储在旧的节点上面，需要做磁盘平衡
gluster volume rebalance gv2 start
移除brick（工作中使用少，复制卷需成对移除）
删除卷
先停止再删除
gluster volume stop gv1
gluster volume delete gv1
3，构架企业级分布式存储
3.1 硬件需求
一般选择2U,STAT磁盘，如果I/O要求比较高可以选择ssd硬盘，磁盘阵列卡，推荐raid10
企业一般使用分布式复制卷，不使用条带卷
GlusterFS文件系统优化
排错：
分布式复制卷
使用mount挂载gluster卷不成功提示为Mount failed. Please check the log file for more details
原因：开始使用同样的磁盘做了分布卷，然后删除分布卷再重新创建分布式复制卷，可能原因是重装时新建的卷组和逻辑卷，导致分区后主机的uuid变了
解决办法：两个节点卸载挂载umount /storage/brick1/
把主机移除存储池gluster peer detach 192.168.0.14
重新加入存储池gluster peer probe 192.168.0.14
两个节点挂载mount /dev/vda /storage/brick1/
按照相同的步骤创建分布式复制卷
客户端挂载无法显示文件的处理方法，如下所示
# ls ls: 无法访问kvm_snapshot.sh: 输入/输出错误 kvm_snapshot.sh
原因分析：可能是因为挂载的文件夹设置了samba导致权限问题
处理方法：在宿主机文件夹备份然后删除对应文件即可
