欢迎来到魔幻小生的博客

CentOS7搭建FastDFS文件管理服务器

一、FastDFS介绍

FastDFS开源地址:https://github.com/happyfish100

FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。

FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

  Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。

  Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。

  Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。

部署架构

 

二、安装部署FastDFS

1.安装FastDFS依赖gcc环境

yum -y install gcc-c++

2.FastDFS依赖libevent库,需要安装:

yum -y install libevent

3.libfastcommon是FastDFS官方提供的,libfastcommon包含了FastDFS运行所需要的一些基础库,需要安装:

cd /usr/local/src     #切换到要下载文件的路径
wget -O libfastcommon-1.0.39.tar.gz https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.39         #下载libfastcommon
tar -zxvf libfastcommon-1.0.39.tar.gz     #解压
cd libfastcommon-1.0.39/
./make.sh                 #编译
./make.sh install        #安装

libfastcommon.so 安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以需要创建软链接

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so 

4.安装FastDFS

cd /usr/local/src     #切换到要下载文件的路径
wget -O fastdfs-5.11.tar.gz https://codeload.github.com/happyfish100/fastdfs/tar.gz/V5.11         #下载FastDFS
tar -zxvf fastdfs-5.11.tar.gz     #解压
cd fastdfs-5.11/
./make.sh                 #编译
./make.sh install        #安装

 服务脚本:

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

配置文件(这三个是作者给的样例配置文件):

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

命令工具在 /usr/bin/ 目录下:

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh 

FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin, 但实际命令安装在 /usr/bin/ 下。
建立 /usr/bin 到 /usr/local/bin 的软链接(这一步关系到后面某些命令的执行)

ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
ln -s /usr/bin/fdfs_storaged   /usr/local/bin
ln -s /usr/bin/stop.sh         /usr/local/bin
ln -s /usr/bin/restart.sh      /usr/local/bin

三、配置FastDFS跟踪服务器(Tracker Server)

在Tracker服务器上进入 /etc/fdfs,复制 FastDFS 跟踪器样例配置文件 tracker.conf.sample,并重命名为 tracker.conf

cd /etc/fdfs
cp tracker.conf.sample tracker.conf

编辑tracker.conf,根据需要修改配置

# 配置文件是否不生效,false 为生效
disabled=false

# 提供服务的端口
port=22122

# Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)
base_path=/fastdfs/tracker

# HTTP 服务端口
http.server_port=1080

创建tracker基础数据目录,即base_path对应的目录

mkdir -p /fastdfs/tracker

启动Tracker

初次成功启动,会在 /fdfsdfs/tracker/ (配置的base_path)下创建 data、logs 两个目录

可以用这种方式启动
/etc/init.d/fdfs_trackerd start

也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式
systemctl start fdfs_trackerd

查看 FastDFS Tracker 是否已成功启动

netstat -unltp|grep fdfs
systemctl status fdfs_trackerd

 

根据需要可设置fdfs_trackerd服务开机自启动

 systemctl enable fdfs_trackerd

  或:

  chkconfig fdfs_trackerd on

  或:

  vim /etc/rc.d/rc.local

  加入配置:

  /etc/init.d/fdfs_trackerd start

四、配置FastDFS存储服务器(Storage Server)

在Storage服务器上进入 /etc/fdfs 目录,复制 FastDFS 存储器样例配置文件 storage.conf.sample,并重命名为 storage.conf

cd /etc/fdfs
cp storage.conf.sample storage.conf

编辑storage.conf,根据需要修改配置

# 配置文件是否不生效,false 为生效
disabled=false 

# 指定此 storage server 所在 组(卷)
group_name=group1

# storage server 服务端口
port=23000

# 心跳间隔时间,单位为秒 (这里是指主动向 tracker server 发送心跳)
heart_beat_interval=30

# Storage 数据和日志目录地址(根目录必须存在,子目录会自动生成)
base_path=/fastdfs/storage

# 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目,通常只配一个目录。
store_path_count=1


# 逐一配置 store_path_count 个路径,索引号基于 0。
# 如果不配置 store_path0,那它就和 base_path 对应的路径一样。
store_path0=/fastdfs/file

# FastDFS 存储文件时,采用了两级目录。这里配置存放文件的目录个数。 
# 如果本参数只为 N(如: 256),那么 storage server 在初次运行时,会在 store_path 下自动创建 N * N 个存放文件的子目录。
subdir_count_per_path=256

# tracker_server 的列表 ,会主动连接 tracker_server
# 有多个 tracker server 时,每个 tracker server 写一行
tracker_server=10.20.90.61:22122

# 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
sync_start_time=00:00
sync_end_time=23:59
# 访问端口
http.server_port=1081

创建Storage基础数据目录,对应base_path目录

mkdir -p /fastdfs/storage

# 这是配置的store_path0路径
mkdir -p /fastdfs/file

启动Storage前确保Tracker是启动的。初次启动成功,会在/fastdfs/storage 目录下创建 data、 logs 两个目录

可以用这种方式启动
# /etc/init.d/fdfs_storaged start

也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式
# systemctl start fdfs_storaged

查看 Storage 是否成功启动

netstat -unltp|grep fdfs_storaged
systemctl status fdfs_storaged

 

 

 查看Storage和Tracker是否在通信:

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

 根据需要可以设置fdfs_storaged开机自启动

systemctl enable fdfs_storaged

  或:

  chkconfig fdfs_storaged on

  或:

  vim /etc/rc.d/rc.local

  加入配置:

  /etc/init.d/fdfs_storaged start

 Storage 启动成功后,在base_path 下创建了data、logs目录,记录着 Storage Server 的信息。

五、文件上传测试

修改 Tracker 服务器中的客户端配置文件 

cd /etc/fdfs
cp client.conf.sample client.conf

编辑client.conf,根据需要修改配置

# Client 的数据和日志目录
base_path=/fastdfs/client

# Tracker端口
tracker_server=10.20.90.61:22122

同样需要mkdir -p /fastdfs/client创建client的base_path路径

在linux内部执行如下命令上传123.jpg图片

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf 123.jpg

 

 文件上传成功!

六、Nginx安装

文件上传成功了,但我们无法下载。因此需要安装Nginx作为服务器以支持Http方式访问文件。同时,后面安装FastDFS的Nginx模块也需要Nginx环境。

Nginx只需要安装到Storage Server所在的服务器即可,用于访问文件。

目前工作应用中暂不需要,先挖个坑,以后再慢慢补(不知道什么时候会填。。。)

posted @ 2021-10-21 15:35  魔幻小生  阅读(585)  评论(0编辑  收藏  举报