fastDFS分布式存储部署配置
FastDFS是一个开源的分布式文件系统,适合文件类的在线服务,例如视频网站腾讯视频,相册看图的网站等。她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。尤其特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
接下来,开始部署配置fastDFS主备:本次fastDFS主备测试部署和配置,以6台虚拟机为例进行部署测试。
虚拟机系统环境:centos7.2
iP地址规划:基于安全等考虑,ip地址已经替换了,非真实ip地址。
192.168.42.61 tracker01
192.168.42.62 tracker02
192.168.42.63 storage-group1-1
192.168.42.64 storage-group1-2
192.168.42.65 storage-group2-1
192.168.42.66 storage-group2-2
一. 部署tracker
所有tracker服务器和storage服务器均执行如下操作
安装和编译所需要的依赖包:
yum install make cmake gcc gcc-c++ -y
安装libfastcommon:
[root@tracker01 software]# pwd
/data/software
unzip libfastcommon-master.zip
[root@tracker01 libfastcommon-master]# pwd
/data/software/libfastcommon-master
./make.sh
./make.sh install
备注:ibfastcommon 默认安装到了
/usr/lib64/libfastcommon.so
/usr/lib64/libfdfsclient.so
建立软连接:
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
安装fastDFS:
[root@tracker01 software]# pwd
/data/software
[root@tracker01 software]# tar -xvf fastdfs-5.05.tar.gz
[root@tracker01 software]# cd fastdfs-5.05/
[root@tracker01 fastdfs-5.05]# pwd
/data/software/fastdfs-5.05
./make.sh
./make.sh install
注意:
采用默认安装的方式安装,安装后的相应文件与目录:
A、 服务脚本在:
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker
B、 配置文件在(样例配置文件)
/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample
C、 命令工具在/usr/bin/目录下的:
fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh
(4)因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin, 但实际命令安装在/usr/bin, 可以进入/user/bin 目录使用以下命令查看 fdfs 的相关命令:
[root@tracker01 bin]# pwd
/usr/bin
[root@tracker01 bin]# ls |grep fdfs
fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
因此需要修改 FastDFS 服务脚本中相应的命令路径,也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin:
# vi /etc/init.d/fdfs_trackerd
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin# vi /etc/init.d/fdfs_storaged
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin
注意: 以上操作无论是配置 tracker 还是配置 storage 都是必须的,而 tracker 和 storage 的区别主要是在安装完 fastdfs 之后的配置过程中。
二. 配置tracker
复制 FastDFS 跟踪器样例配置文件,并重命名:两台tracker都做如下操作
[root@tracker01 bin]# cd /etc/fdfs/
[root@tracker01 fdfs]# cp tracker.conf.sample tracker.conf
编辑修改tracker配置文件:修改内容如下
disabled=false #启用配置文件
port=22122 #tracker 的端口号,一般采用 22122 这个默认端口
base_path=/fastdfs/tracker #tracker 的数据文件和日志目录
创建基础数据目录:
mkdir -p /fastdfs/tracker
需要注意:如果有防火墙,需要开启22122端口!
启动tracker:
[root@tracker01 fdfs]# /etc/init.d/fdfs_trackerd start
Starting fdfs_trackerd (via systemctl): [ OK ]
[root@tracker01 fdfs]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 13277/fdfs_trackerd
备注:初次成功启动,会在/fastdfs/tracker 目录下创建 data、 logs 两个目录。
[root@tracker01 tracker]# pwd
/fastdfs/tracker
[root@tracker01 tracker]# ll
total 0
drwxr-xr-x 2 root root 80 Mar 19 01:45 data
drwxr-xr-x 2 root root 25 Mar 19 01:44 logs
通过以下命令查看 tracker 的启动日志,看是否有错误
tail -100f /fastdfs/tracker/logs/trackerd.log
关闭tracker:/etc/init.d/fdfs_trackerd stop
设置 FastDFS trackr开机启动:
# vi /etc/rc.d/rc.local
添加以下内容
## FastDFS Tracker
/etc/init.d/fdfs_trackerd start