glusterfs分布式文件系统
第一：安装依赖包：
yum install libibverbs librdmacm xfsprogs nfs-utils rpcbind libaio liblvm2app lvm2-devel libevent-devel nfs-utils-lib-devel tcl-devel libsysfs-devel userspace-rcu atop iozone fio iperf
安装gluserfs server 和 client
yum install glusterfs glusterfs-server glusterfs-fuse
# yum install glusterfs-3.7.9-12 glusterfs-server-3.7.8-1.el7.x86_64
yum -y install glusterfs glusterfs-client
8.组建集群
/etc/init.d/glusterd start
chkconfig glusterd on
登陆服务器server1，执行命令
[root@server1 yum.repos.d]# gluster peer probe server2
[root@server1 yum.repos.d]# gluster peer probe server3
使用 gluster peer status 查看状态
9.创建卷
1.确定创建卷的类型
2.去创建卷的brick列表
3.确定创建卷的网络类型（TCP/RDMA）
4.gluster volume create 创建复制卷，至少2台主机
卷里使用2台主机
gluster volume create testvol replica 3 server1:/brick1/images server2:/brick1/images
#分布式复制glusterfs卷，至少4台主机
#gluster volume create fengvol replica 2 transport tcp judge1:/data/feng judge2:/data/feng graph1:/data/feng graph2:/data/feng force
查看volume 卷信息
为硬盘访问设置权限：
Gluster volume set testVol auth.allow 172.16.1.*
启动创建的卷
gluster volume start testVol
查看卷的扩展属性
getfattr -d -m . -e hex /brick1/images
客户端挂载
mount -t glusterfs glusterfs1:/testvol /data
cat /etc/fstab
glusterfs1:/testvol /data glusterfs defaults 0 0
# 设置 cache 大小, 默认32MB
$ gluster volume set testvol performance.cache-size 4GB
# 设置 io 线程, 太大会导致进程崩溃
$ gluster volume set testvol performance.io-thread-count 16
# 设置 网络检测时间, 默认42s
$ gluster volume set testvol network.ping-timeout 10
# 设置 写缓冲区的大小, 默认1M
$ gluster volume set testvol performance.write-behind-window-size 1024MB
查看卷
Gluster volume info
删除卷
gluster volume stop testvol
gluster volume delete testvol
将机器移出集群
gluster peer detach 172.28.26.102
只允许172.28.0.0的网络访问glusterfs
gluster volume set testvol auth.allow 172.28.26.*
加入新的机器并添加到卷里(由于副本数设置为2,至少要添加2（4、6、8..）台机器)
gluster peer probe 172.28.26.105
gluster peer probe 172.28.26.106
gluster volume add-brick testvol 172.28.26.105:/data/gluster 172.28.26.106:/data/gluster
收缩卷
# 收缩卷前gluster需要先移动数据到其他位置
gluster volume remove-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.102:/data/gluster/testvol start
# 查看迁移状态
gluster volume remove-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.102:/data/gluster/testvol status
# 迁移完成后提交
gluster volume remove-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.102:/data/gluster/testvol commit
迁移卷
# 将172.28.26.101的数据迁移到,先将172.28.26.107加入集群
gluster peer probe 172.28.26.107
gluster volume replace-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.107:/data/gluster/testvol start
# 查看迁移状态gluster volume replace-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.107:/data/gluster/testvol status
# 数据迁移完毕后提交gluster volume replace-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.107:/data/gluster/testvol commit
# 如果机器172.28.26.101出现故障已经不能运行,执行强制提交然后要求gluster马上执行一次同步
gluster volume replace-brick testvol 172.28.26.101:/data/gluster/testvol 172.28.26.102:/data/gluster/testvol commit -force
gluster volume heal testvol s full
移除集群 gluster peer detach server3
