CentOS7搭建FastDFS文件管理服务器
一、FastDFS介绍
FastDFS开源地址:https://github.com/happyfish100
FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。
FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。
Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。
Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。
部署架构
二、安装部署FastDFS
1.安装FastDFS依赖gcc环境
yum -y install gcc-c++
2.FastDFS依赖libevent库,需要安装:
yum -y install libevent
3.libfastcommon是FastDFS官方提供的,libfastcommon包含了FastDFS运行所需要的一些基础库,需要安装:
cd /usr/local/src #切换到要下载文件的路径 wget -O libfastcommon-1.0.39.tar.gz https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.39 #下载libfastcommon tar -zxvf libfastcommon-1.0.39.tar.gz #解压 cd libfastcommon-1.0.39/ ./make.sh #编译 ./make.sh install #安装
libfastcommon.so 安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以需要创建软链接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
4.安装FastDFS
cd /usr/local/src #切换到要下载文件的路径 wget -O fastdfs-5.11.tar.gz https://codeload.github.com/happyfish100/fastdfs/tar.gz/V5.11 #下载FastDFS tar -zxvf fastdfs-5.11.tar.gz #解压 cd fastdfs-5.11/ ./make.sh #编译 ./make.sh install #安装
服务脚本:
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker
配置文件(这三个是作者给的样例配置文件):
/etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample
命令工具在 /usr/bin/ 目录下:
fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file stop.sh restart.sh
FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin, 但实际命令安装在 /usr/bin/ 下。
建立 /usr/bin 到 /usr/local/bin 的软链接(这一步关系到后面某些命令的执行)
ln -s /usr/bin/fdfs_trackerd /usr/local/bin ln -s /usr/bin/fdfs_storaged /usr/local/bin ln -s /usr/bin/stop.sh /usr/local/bin ln -s /usr/bin/restart.sh /usr/local/bin
三、配置FastDFS跟踪服务器(Tracker Server)
在Tracker服务器上进入 /etc/fdfs,复制 FastDFS 跟踪器样例配置文件 tracker.conf.sample,并重命名为 tracker.conf
cd /etc/fdfs cp tracker.conf.sample tracker.conf
编辑tracker.conf,根据需要修改配置
# 配置文件是否不生效,false 为生效 disabled=false # 提供服务的端口 port=22122 # Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建) base_path=/fastdfs/tracker # HTTP 服务端口 http.server_port=1080
创建tracker基础数据目录,即base_path对应的目录
mkdir -p /fastdfs/tracker
启动Tracker
初次成功启动,会在 /fdfsdfs/tracker/ (配置的base_path)下创建 data、logs 两个目录
可以用这种方式启动 /etc/init.d/fdfs_trackerd start 也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式 systemctl start fdfs_trackerd
查看 FastDFS Tracker 是否已成功启动
netstat -unltp|grep fdfs systemctl status fdfs_trackerd
根据需要可设置fdfs_trackerd服务开机自启动
systemctl enable fdfs_trackerd
或:
chkconfig fdfs_trackerd on
或:
vim /etc/rc.d/rc.local
加入配置:
/etc/init.d/fdfs_trackerd start
四、配置FastDFS存储服务器(Storage Server)
在Storage服务器上进入 /etc/fdfs 目录,复制 FastDFS 存储器样例配置文件 storage.conf.sample,并重命名为 storage.conf
cd /etc/fdfs cp storage.conf.sample storage.conf
编辑storage.conf,根据需要修改配置
# 配置文件是否不生效,false 为生效 disabled=false # 指定此 storage server 所在 组(卷) group_name=group1 # storage server 服务端口 port=23000 # 心跳间隔时间,单位为秒 (这里是指主动向 tracker server 发送心跳) heart_beat_interval=30 # Storage 数据和日志目录地址(根目录必须存在,子目录会自动生成) base_path=/fastdfs/storage # 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目,通常只配一个目录。 store_path_count=1 # 逐一配置 store_path_count 个路径,索引号基于 0。 # 如果不配置 store_path0,那它就和 base_path 对应的路径一样。 store_path0=/fastdfs/file # FastDFS 存储文件时,采用了两级目录。这里配置存放文件的目录个数。 # 如果本参数只为 N(如: 256),那么 storage server 在初次运行时,会在 store_path 下自动创建 N * N 个存放文件的子目录。 subdir_count_per_path=256 # tracker_server 的列表 ,会主动连接 tracker_server # 有多个 tracker server 时,每个 tracker server 写一行 tracker_server=10.20.90.61:22122 # 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。 sync_start_time=00:00 sync_end_time=23:59 # 访问端口 http.server_port=1081
创建Storage基础数据目录,对应base_path目录
mkdir -p /fastdfs/storage # 这是配置的store_path0路径 mkdir -p /fastdfs/file
启动Storage前确保Tracker是启动的。初次启动成功,会在/fastdfs/storage 目录下创建 data、 logs 两个目录
可以用这种方式启动 # /etc/init.d/fdfs_storaged start 也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式 # systemctl start fdfs_storaged
查看 Storage 是否成功启动
netstat -unltp|grep fdfs_storaged
systemctl status fdfs_storaged
查看Storage和Tracker是否在通信:
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
根据需要可以设置fdfs_storaged开机自启动
systemctl enable fdfs_storaged
或:
chkconfig fdfs_storaged on
或:
vim /etc/rc.d/rc.local
加入配置:
/etc/init.d/fdfs_storaged start
Storage 启动成功后,在base_path 下创建了data、logs目录,记录着 Storage Server 的信息。
五、文件上传测试
修改 Tracker 服务器中的客户端配置文件
cd /etc/fdfs cp client.conf.sample client.conf
编辑client.conf,根据需要修改配置
# Client 的数据和日志目录 base_path=/fastdfs/client # Tracker端口 tracker_server=10.20.90.61:22122
同样需要mkdir -p /fastdfs/client创建client的base_path路径
在linux内部执行如下命令上传123.jpg图片
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf 123.jpg
文件上传成功!
六、Nginx安装
文件上传成功了,但我们无法下载。因此需要安装Nginx作为服务器以支持Http方式访问文件。同时,后面安装FastDFS的Nginx模块也需要Nginx环境。
Nginx只需要安装到Storage Server所在的服务器即可,用于访问文件。
目前工作应用中暂不需要,先挖个坑,以后再慢慢补(不知道什么时候会填。。。)