Glusterfs配置手册
1、环境介绍
|
系统 |
服务 |
IP |
|
Centos6.5 |
glusterfs01 |
10.10.3.3 |
|
Centos6.5 |
glusterfs02 |
10.10.3.4 |
2、环境准备
1、检查fuse是否安装
|
[root@uat2-app-01 software]# modprobe -l|grep fuse kernel/fs/fuse/fuse.ko kernel/fs/fuse/cuse.ko |
2、安装依赖包
|
[root@uat2-app-01 software]# yum install gcc gcc-c++ -y [root@uat2-app-01 software]# yum install flex bison openssl openssl-devel libxml2 libxml2-devel -y |
3、安装Glusterfs
上传安装包到服务器后进行安装
|
[root@uat2-app-01 software]# tar -zxvf /home/software/glusterfs-3.6.0.tar.gz [root@uat2-app-01 software]# cd /home/software/glusterfs-3.6.0 [root@uat2-app-01 software]# ./configure --prefix=/usr/local/glusterfs && make && make install [root@uat2-app-01 software]# ln -s /usr/local/glusterfs/sbin/gluster /usr/bin/gluster [root@uat2-app-01 software]# ln -s /usr/local/glusterfs/sbin/glusterfs /usr/bin/glusterfs
[root@uat2-app-01 software]# glusterfs --version [root@uat2-app-01 software]# gluster –version [root@uat2-app-01 software]# chkconfig --add glusterd [root@uat2-app-01 software]# gluster --version [root@uat2-app-01 software]# /usr/local/glusterfs/sbin/glusterd & |
4、配置Glusterfs
|
[root@uat2-app-01 software]# gluster peer probe 10.10.3.4 #添加节点 [root@prd-app-gfs-01 ~]# gluster peer status #查看节点状态 [root@prd-app-gfs-01 ~]# lvcreate -L 512000M -n lv_bshfq VolGroup #创建逻辑卷 [root@prd-app-gfs-01 ~]# mkfs.ext4 /dev/VolGroup/lv_hshfq [root@prd-app-gfs-01 ~]# mount /dev/mapper/VolGroup-lv_bshfq /bshfq [root@prd-app-gfs-01 ~]# gluster volume create bshfq replica 2 10.10.3.{3,4}:/bshfq/brick1 [root@prd-app-gfs-01 ~]# gluster volume start bshfq
|
5、客户端挂载
|
[root@prd-dmz-sftp-01 ~]# yum install glusterfs glusterfs-fuse -y [root@prd-dmz-sftp-01 ~]# mount -t glusterfs 10.10.3.3:/b2bdz /home/duizhang |
6、关闭单个节点
|
[root@prd-app-gfs-01 ~]# gluster volume stop bsspdf |
7、扩容卷
1、新增节点，节点必须是复制卷或者条形卷的倍数，这里采用复制卷，所以添加两个节点
|
[root@prd-app-gfs-01 ~]# gluster peer probe 172.16.1.143 [root@prd-app-gfs-01 ~]# gluster peer probe 172.16.1.144 |
2、扩容卷
|
[root@prd-app-gfs-01 ~]# gluster volume add-brick bsmedia 172.16.1.{143,144}:/home/glusterdata/bsmedia |
3、查看卷列表（可以不操作）
|
[root@prd-app-gfs-01 ~]# gluster volume list |
4、查看所有卷信息（可以不操作）
|
[root@prd-app-gfs-01 ~]# gluster volume info all |
5、查看所有卷状态（可以不操作）
|
[root@prd-app-gfs-01 ~]# gluster volume status all |
6、均衡卷（可以不操作）
|
[root@prd-app-gfs-01 ~]# gluster volume rebalance bsmedia fix-layout start |
8、缩小卷
1、停止卷
|
[root@prd-app-gfs-01 ~]# gluster volume stop bsmedia |
2、迁移数据后缩小卷
|
[root@prd-app-gfs-01 ~]# gluster volume remove-brick bsmedia replica 2 172.16.1.{143,144}:/home/glusterdata/bsmedia start |
3、迁移数据后缩小卷状态
|
[root@prd-app-gfs-01 ~]# gluster volume remove-brick bsmedia replica 2 172.16.1.{143,144}:/home/glusterdata/bsmedia status |
3、缩小卷
|
[root@prd-app-gfs-01 ~]# gluster volume remove-brick bsmedia replica 2 172.16.1.{143,144}:/home/glusterdata/bsmedia force |
4、减少节点
|
[root@prd-app-gfs-01 ~]# gluster peer detach 172.16.1.143 [root@prd-app-gfs-01 ~]# gluster peer detach 172.16.1.144 |
9、测试
# 注意我们不要在服务器上添加内容，这样会导致内容紊乱，应该直接在挂载点添加内容
问题：
之前已经创建了一个replicated的volume gv0，replica=2，两个目录为：/test/data1和/test/data2，之后发现这两个目录不太合适，想在/test/data1/gfs和/test/data2/gfs上重新做一个volume，于是将gv0删除，但是在新建volume时出现：
/test/data1/gfs or a prefix of it is already part of a volume的问题
经过Google发现以下解决方法：
1. 在/test/data1和/test/data2目录中删除".glusterfs"的目录
2. setfattr -x trusted.glusterfs.volume-id /home/glusterdata
3. setfattr -x trusted.gfid /home/glusterdata
4. setfattr -x trusted.glusterfs.volume-id /home/glusterdata
5. setfattr -x trusted.gfid /test/data2
执行以上五个操作后，重新建立volume成功，问题解决。
