[Linux]-构建MFS分布式文件系统
分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。
简单一些来说就是把一些分散的共享文件夹（分布在局域网内部的各个计算机上），集合到一个文件夹内部（虚拟共享文件夹），对于用户来说，用户访问这个虚拟文件夹时，只要是打开这个虚拟文件夹，就可以看到所有链接到这个虚拟文件夹的数据，但是用户感觉不到这些共享文件夹都是分散在各个计算机上的。
分布式文件系统的优点就是集中访问，简化操作，数据容灾，提高文件的存储性能。
MFS原理
1、元组管理服务器（master server）
一台管理整个文件系统的独立主机，存储着每个文件的元数据（文件的大小、属性、位置信息，包括所有非常规文件的所有信息，例如目录、套接字、管道以及设备文件）
2、元数据存储服务器群（chunk servers）
任意数目的商用服务器，用来存储文件数据并在彼此之间同步（如果某个文件有超过一个备份的话）
3、元数据备份日志服务器（metalogger server）
任意数量的服务器，用来存储元数据变化日志并周期性下载主要元数据文件，以便用于管理服务器意外停止时好接替其位置。
4、访问mfs的客户端
任意数量的主机，可以通过mfsmount进程与管理服务器（接收和更改元数据）和数据服务器（改变实际文件数据）进行交流。
MFS读取数据的过程
1.客户端向元组管理服务器发出读（r）的请求
2.元数据服务器把所需数据存放的位置（chunk servers的IP地址和编号）告诉客户端
3.客户端向已知的chunk servers请求发送数据
4.chunk server向客户端发送数据
实验环境
master server 192.168.1.1/24 CentOS6.5 mfs-1.6.27-5.tar.gz
metalogger server 192.168.1.2/24 CentOS6.5 mfs-1.6.27-5.tar.gz
chunk server 192.168.1.3/24 CentOS6.5 mfs-1.6.27-5.tar.gz
chunk server 192.168.1.4/24 CentOS6.5 mfs-1.6.27-5.tar.gz
chunk server 192.168.1.5/24 CentOS6.5 mfs-1.6.27-5.tar.gz
client 192.168.1.6/24 CentOS6.5 mfs-1.6.27-5.tar.gz fuse-2.9.2.tar.gz
案例步骤（大部分的步骤是一样的）
一、搭建Master server
[root@bogon ~]# rpm -q zlib-devel //需要插件依赖 zlib-devel-1.2.3-29.el6.x86_64
[root@bogon ~]# useradd -M -s /sbin/nologin mfs //创建应用用户不指定家目录，并不允许登录
[root@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@bogon ~]# cd /usr/src/mfs-1.6.27/ [root@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
--disable-mfschunkserver --disable-mfsmount //指定路径，默认用户，默认组，禁用mfs存储，禁用挂载 [root@bogon mfs-1.6.27]# make && make install
[root@bogon mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/ [root@bogon mfs]# ls mfsexports.cfg.dist mfsmaster.cfg.dist mfsmetalogger.cfg.dist mfstopology.cfg.dist [root@bogon mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg [root@bogon mfs]# cp mfsexports.cfg.dist mfsexports.cfg [root@bogon mfs]# cp mfstopology.cfg.dist mfstopology.cfg //*.dist是备份参考配置文件，*.cfg是才会识别的文件
[root@bogon mfs]# cd /usr/local/mfs/var/mfs/
[root@bogon mfs]# ls
metadata.mfs.empty
[root@bogon mfs]# cp metadata.mfs.empty metadata.mfs
[root@bogon mfs]# /usr/local/mfs/sbin/mfsmaster start //启动mfsmaster working directory: /usr/local/mfs/var/mfs lockfile created and locked initializing mfsmaster modules ... loading sessions ... file not found if it is not fresh installation then you have to restart all active mounts !!! exports file has been loaded mfstopology: incomplete definition in line: 7 mfstopology: incomplete definition in line: 7 mfstopology: incomplete definition in line: 22 mfstopology: incomplete definition in line: 22 mfstopology: incomplete definition in line: 28 mfstopology: incomplete definition in line: 28 topology file has been loaded loading metadata ... create new empty filesystemmetadata file has been loaded no charts data file - initializing empty charts master <-> metaloggers module: listen on *:9419 master <-> chunkservers module: listen on *:9420 main master server module: listen on *:9421 mfsmaster daemon initialized properly [root@bogon mfs]# netstat -anpt | grep mfs //过滤出mfs的信息 tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 80808/mfsmaster tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 80808/mfsmaster tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 80808/mfsmaster
二、Metalogger
[root@bogon mfs-1.6.27]# useradd -M -s /sbin/nologin mfs //创建用户
[root@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@bogon ~]# cd /usr/src/mfs-1.6.27/ [root@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount [root@bogon mfs-1.6.27]# make && make install [root@bogon ~]# cd /usr/local/mfs/etc/mfs/ [root@bogon ~]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg [root@bogon ~]# vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg 修改： MASTER_HOST = 192.168.1.1 //这里的IP指向mfsmaster
端口号注释去掉
[root@bogon ~]# /usr/local/mfs/sbin/mfsmetalogger restart //启动 [root@bogon ~]# netstat -anpt | grep mfs
tcp 0 0 192.168.1.2:36637 192.168.1.1:9419 ESTABLISHED 77862/mfsmetalogger
三、三台chunk server一样
[root@bogon ~]# useradd -M -s /sbin/nologin mfs [root@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@bogon ~]# cd /usr/src/mfs-1.6.27/ [root@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfsmaster --disable-mfsmount [root@bogon mfs-1.6.27]# make && make install
[root@bogon ~]# cd /usr/local/mfs/etc/mfs/ [root@bogon mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg [root@bogon mfs]# cp mfshdd.cfg.dist mfshdd.cfg
[root@bogon ~]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg 添加： MASTER_HOST = 192.168.1.1
[root@bogon ~]# mkdir /data
[root@bogon ~]# vim /usr/local/mfs/etc/mfs/mfshdd.cfg 添加： /data
[root@bogon ~]# mkdir /data
[root@bogon ~]# /usr/local/mfs/sbin/mfschunkserver restart //启动服务
[root@bogon ~]# netstat -anpt | grep mfs
[root@bogon mfs]# netstat -anpt | grep mfs
tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 15593/mfschunkserve
tcp 0 0 192.168.1.4:49182 192.168.1.1:9420 ESTABLISHED 15593/mfschunkserve
四、client
安装fuse
[root@bogon ~]# tar -zxvf fuse-2.9.2.tar.gz -C /usr/src/ [root@bogon ~]# cd /usr/src/fuse-2.9.2/ [root@bogon fuse-2.9.2]# ls aclocal.m4 config.guess configure.in doc fuse.pc.in lib Makefile.in README.NFS AUTHORS config.rpath COPYING example include ltmain.sh missing util ChangeLog config.sub COPYING.LIB FAQ INSTALL m4 NEWS compile configure depcomp Filesystems install-sh Makefile.am README [root@bogon fuse-2.9.2]# ./configure && make && make install
[root@bogon fuse-2.9.2]# vim /etc/profile //更改环境变量 添加： export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH [root@bogon fuse-2.9.2]# source /etc/profile //重启生效
安装mfs
[root@bogon ~]# useradd -M -s /sbin/nologin mfs
[root@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/ [root@bogon ~]# cd /usr/src/mfs-1.6.27/ [root@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver --enable-mfsmount [root@bogon mfs-1.6.27]# make && make install
[root@bogon mfs-1.6.27]# modprobe fuse //模块导入到内核 [root@bogon mfs-1.6.27]# mkdir /list //创建挂载点 [root@bogon mfs-1.6.27]# /usr/local/mfs/bin/mfsmount /list -H 192.168.1.1 //指定主服务器挂载MFS
[root@bogon mfs-1.6.27]# mount
/dev/sda3 on / type ext4 (rw) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts on /dev/pts type devpts (rw,gid=5,mode=620) tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0") /dev/sda1 on /boot type ext4 (rw) none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw) vmware-vmblock on /var/run/vmblock-fuse type fuse.vmware-vmblock (rw,nosuid,nodev,default_permissions,allow_other) none on /sys/kernel/config type configfs (rw) /dev/sr0 on /media/CentOS_6.5_Final type iso9660 (ro,nosuid,nodev,uhelper=udisks,uid=0,gid=0,iocharset=utf8,mode=0400,dmode=0500) gvfs-fuse-daemon on /root/.gvfs type fuse.gvfs-fuse-daemon (rw,nosuid,nodev) /dev/sr0 on /mnt type iso9660 (ro) 192.168.1.1:9421 on /info type fuse.mfs (rw,nosuid,nodev,allow_other,default_permissions)
1 [root@bogon mfs-1.6.27]# df -hT //查看磁盘空间状态 2 Filesystem Type Size Used Avail Use% Mounted on 3 /dev/sda3 ext4 57G 17G 37G 32% / 4 tmpfs tmpfs 491M 224K 491M 1% /dev/shm 5 /dev/sda1 ext4 1008M 62M 896M 7% /boot 6 /dev/sr0 iso9660 4.2G 4.2G 0 100% /media/CentOS_6.5_Final 7 /dev/sr0 iso9660 4.2G 4.2G 0 100% /mnt 8 192.168.1.1:9421 fuse.mfs 83G 0 83G 0% /info
[root@bogon ~]# vim /etc/profile 添加： export PATH=/usr/locla/mfs/bin:$PATH [root@bogon ~]# source /etc/profile
[root@bogon mfs-1.6.27]# ln -s /usr/local/mfs/bin/* /usr/local/bin
五、客户机里面验证
[root@bogon mfs-1.6.27]# mfsgetgoal -r /list /info: directories with goal 1 : 1
mfsgetgoal命令用来查询文件被复制的份数，用-r可以对整个目录进行递归，goal是文件被复制的份数
[root@bogon ~]# mfsgetgoal -r /info [root@bogon ~]# mfssetgoal -r 3 /info 注意：生产环境Chunk Server节点数应至少大于2，文件的副本数应小于小于等于Chunk Server服务器数 [root@bogon ~]# touch /data/mfs/info_1 [root@bogon ~]# mfsgetgoal /data/mfs/info_1
可以看懂chunk server的data文件夹下都是一些大小为4.0K的数据存储单元，最大是64M，三个服务都是
在客户端的/list下我存放大文件，chunk server就在使用空间
我贴出来了一个完整的给大家看看
[root@bogon ~]# du -sh /data/* 4.0K /data/00 4.3M /data/01 380K /data/02 4.0K /data/03 296K /data/04 72K /data/05 4.0K /data/06 2.1M /data/07 24K /data/08 4.0K /data/09 108K /data/0A 1.1M /data/0B 4.0K /data/0C 216K /data/0D 84K /data/0E 4.0K /data/0F 68K /data/10 76K /data/11 4.0K /data/12 52K /data/13 1.3M /data/14 4.0K /data/15 28K /data/16 84K /data/17 4.0K /data/18 800K /data/19 104K /data/1A 4.0K /data/1B 40K /data/1C 64K /data/1D 4.0K /data/1E 80K /data/1F 16K /data/20 4.0K /data/21 11M /data/22 28K /data/23 4.0K /data/24 652K /data/25 76K /data/26 4.0K /data/27 148K /data/28 92K /data/29 4.0K /data/2A 452K /data/2B 100K /data/2C 4.0K /data/2D 40K /data/2E 48K /data/2F 4.0K /data/30 11M /data/31 164K /data/32 4.0K /data/33 72K /data/34 220K /data/35 4.0K /data/36 24K /data/37 28K /data/38 4.0K /data/39 396K /data/3A 2.7M /data/3B 4.0K /data/3C 36K /data/3D 72K /data/3E 4.0K /data/3F 232K /data/40 64K /data/41 4.0K /data/42 72K /data/43 48K /data/44 4.0K /data/45 20K /data/46 132K /data/47 4.0K /data/48 104K /data/49 280K /data/4A 4.0K /data/4B 36K /data/4C 52K /data/4D 4.0K /data/4E 28K /data/4F 20K /data/50 4.0K /data/51 44K /data/52 32K /data/53 4.0K /data/54 904K /data/55 228K /data/56 4.0K /data/57 104K /data/58 168K /data/59 4.0K /data/5A 736K /data/5B 2.3M /data/5C 4.0K /data/5D 32K /data/5E 40K /data/5F 4.0K /data/60 1.4M /data/61 60K /data/62 4.0K /data/63 448K /data/64 128K /data/65 4.0K /data/66 432K /data/67 764K /data/68 4.0K /data/69 184K /data/6A 32K /data/6B 4.0K /data/6C 100K /data/6D 1.3M /data/6E 4.0K /data/6F 508K /data/70 372K /data/71 4.0K /data/72 124K /data/73 11M /data/74 4.0K /data/75 2.5M /data/76 2.1M /data/77 4.0K /data/78 20K /data/79 128K /data/7A 4.0K /data/7B 80K /data/7C 132K /data/7D 4.0K /data/7E 196K /data/7F 32K /data/80 4.0K /data/81 160K /data/82 1.3M /data/83 4.0K /data/84 36K /data/85 24K /data/86 4.0K /data/87 236K /data/88 440K /data/89 4.0K /data/8A 112K /data/8B 72K /data/8C 4.0K /data/8D 52K /data/8E 60K /data/8F 4.0K /data/90 5.1M /data/91 1.4M /data/92 4.0K /data/93 88K /data/94 52K /data/95 4.0K /data/96 84K /data/97 508K /data/98 4.0K /data/99 3.3M /data/9A 36K /data/9B 4.0K /data/9C 52K /data/9D 176K /data/9E 4.0K /data/9F 344K /data/A0 56K /data/A1 4.0K /data/A2 36K /data/A3 40K /data/A4 4.0K /data/A5 2.3M /data/A6 188K /data/A7 4.0K /data/A8 16K /data/A9 16K /data/AA 4.0K /data/AB 880K /data/AC 1.7M /data/AD 4.0K /data/AE 132K /data/AF 136K /data/B0 4.0K /data/B1 832K /data/B2 80K /data/B3 4.0K /data/B4 64K /data/B5 1.2M /data/B6 4.0K /data/B7 68K /data/B8 120K /data/B9 4.0K /data/BA 76K /data/BB 1016K /data/BC 4.0K /data/BD 40K /data/BE 32K /data/BF 4.0K /data/C0 120K /data/C1 856K /data/C2 4.0K /data/C3 48K /data/C4 1.1M /data/C5 4.0K /data/C6 136K /data/C7 96K /data/C8 4.0K /data/C9 24K /data/CA 11M /data/CB 4.0K /data/CC 92K /data/CD 24K /data/CE 4.0K /data/CF 404K /data/D0 184K /data/D1 4.0K /data/D2 1.1M /data/D3 72K /data/D4 4.0K /data/D5 972K /data/D6 672K /data/D7 4.0K /data/D8 196K /data/D9 1.2M /data/DA 4.0K /data/DB 28K /data/DC 5.4M /data/DD 4.0K /data/DE 128K /data/DF 824K /data/E0 4.0K /data/E1 24K /data/E2 936K /data/E3 4.0K /data/E4 1.2M /data/E5 208K /data/E6 4.0K /data/E7 148K /data/E8 52K /data/E9 4.0K /data/EA 128K /data/EB 1.8M /data/EC 4.0K /data/ED 4.1M /data/EE 108K /data/EF 4.0K /data/F0 52K /data/F1 2.0M /data/F2 4.0K /data/F3 216K /data/F4 836K /data/F5 4.0K /data/F6 104K /data/F7 56K /data/F8 4.0K /data/F9 12M /data/FA 192K /data/FB 4.0K /data/FC 8.3M /data/FD 168K /data/FE 4.0K /data/FF
这样就达到了分布式存储数据文件的效果
MFS监控
1）Master中：
[root@bogon ~]# /usr/local/mfs/sbin/mfscgiserv restart //启动监控的服务
2）Client中：
[root@bogon ~]# firefox http://192.168.1.1:9425 & //访问，在9425端口
查看服务器的一些状态存储信息
MFS的维护和灾难恢复
1）MFS集群的启动顺序
2）MFS集群的停止顺序
3）MFS灾难恢复
