分布式存储FastDFS搭建
一、FastDFS分布式系统架构
FastDFS：是一个开源的轻量级分布式文件系统，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合中小文件（建议范围：4KB < file_size <500MB），对以文件为载体的在线服务，如相册网站、视频网站等。
FastDFS是为互联网应用量身定做的分布式文件系统，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。和现有的类Google FS分布式文件系统相比，FastDFS的架构和设计理念有其独到之处，主要体现在轻量级、分组方式和对等结构三个方面。
FastDFS架构图
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
FastDFS模块介绍
(1) tracker server：跟踪服务器，用来调度来自客户端的请求，且在内存中记录所有存储组和存储服务器的信息状态。
(2) storage server：存储服务器，用来存储文件(data)和文件属性(metadata)。
(3) client：客户端，业务请求发起方，通过专用接口基于TCP协议与tracker server和storage server进行交互。
(4) group：组，也可称为卷，同组内上的文件是完全相同的。
(5) 文件标识：包括两部分，组名（group）和文件名（含路径）
(6) 文件相关属性：键值对(Key Value Pair)方式
(7) 文件名：与原文件名并不相同。由storage server根据特定信息生成，并且可逆，文件名包含：源存储服务器的IP地址、文件创建时间戳、文件大小、随机数和文件扩展名等。
二、前期准备
2.1、主机规划
| IP | 描述 | 分组 |
|---|---|---|
| 192.168.80.7 | 跟踪服务器1&分布式存储服务器1&web负载均衡服务器 | group1 |
| 192.168.80.17 | 跟踪服务器2&分布式存储服务器2&web负载均衡服务器 | group2 |
| 192.168.80.27 | 跟踪服务器3&分布式存储服务器3&web负载均衡服务器 | group3 |
2.2、关闭防火墙
# 停止
systemctl stop firewalld.service
# 禁用
systemctl disable firewalld.service
2.3、关闭SELinux
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
2.4、设置时间同步
# 设置时区
timedatectl set-timezone Asia/Shanghai
# 同步时间
yum install -y ntpdate
ntpdate time1.aliyun.com
三、部署FastDFS
3.1、安装libfastcommon
#安装依赖包
yum install -y make cmake gcc gcc-c++
#创建软件包存放目录
mkdir -pv /usr/local/soft/package
cd /usr/local/soft/package
#下载libfastcommon
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz
#解压并安装
tar -xf V1.0.43.tar.gz
cd libfastcommon-1.0.43
./make.sh
./make.sh install
3.2、安装FastDFS
#下载安装包
cd /usr/local/soft/package
wget https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz
#解压并安装
tar -xf V6.06.tar.gz
cd fastdfs-6.06
./make.sh
./make.sh install
3.3、配置跟踪器Tracker
(1) 复制配置文件
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
(2) 修改配置文件
vim /etc/fdfs/tracker.conf
#注意以下项目的修改
disabled=false //启用配置文件
port=22122 //tracker 的端口号，一般采用 22122 这个默认端口
base_path = /usr/local/soft/fastdfs/tracker //tracker 的数据文件和日志目录
store_lookup=2 //上传文件采取组选择方式，0.轮巡、1.指定组、2.选择最大空闲空间的组
(3) 创建数据目录
mkdir -p /usr/local/soft/fastdfs/tracker
(4) 启动tracker服务
/etc/init.d/fdfs_trackerd start
(5) 设置tracker服务开机启动
chkconfig fdfs_trackerd on
3.4、配置FastDFS存储服务
(1) 复制配置文件
cd /etc/fdfs
cp storage.conf.sample storage.conf
(2) 修改配置文件
vim /etc/fdfs/storage.conf
#注意以下项目的修改
disabled=false //启用配置文件
group_name = group1 //组名(按主机规划里的修改各台主机的配置)
base_path = /usr/local/soft/fastdfs/storage //设置storage的数据和日志目录
store_path_count = 1 //存储路径个数，需要和 store_path 个数匹配
store_path0=/usr/local/soft/fastdfs/storage //存储路径
tracker_server=192.168.80.7:22122 //tracker 服务器的 IP 地址和端口
tracker_server=192.168.80.17:22122 //多个 tracker 直接添加多条配置
tracker_server=192.168.80.27:22122 //多个 tracker 直接添加多条配置
http.server_port=8088 //设置 http 端口号
(3) 创建数据目录
mkdir -p /usr/local/soft/fastdfs/storage
(4) 启动storage服务
/etc/init.d/fdfs_storaged start
(5) 设置storage服务开机启动
chkconfig fdfs_storaged on
(6) 查看集群信息
#所有storage节点都启动之后，可以在任一storage节点上使用如下命令查看集群信息
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
3.5、配置客户端服务
(1) 复制配置文件
cd /etc/fdfs
cp client.conf.sample client.conf
(2) 修改配置文件
vim /etc/fdfs/client.conf
#注意以下项目的修改
base_path = /usr/local/soft/fastdfs/client //设置client的数据和日志目录
tracker_server=192.168.80.7:22122 //tracker服务器的IP地址和端口
tracker_server=192.168.80.17:22122 //多个 tracker 直接添加多条配置
tracker_server=192.168.80.27:22122 //多个 tracker 直接添加多条配置
(3) 创建数据目录
mkdir -p /usr/local/soft/fastdfs/client
(4) 测试上传
#新建一个文件
touch /usr/local/soft/package/a.txt
#使用FastDFS上传命令，将测试文件上传到FastDFS存储里
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/soft/package/a.txt
##如能返回以下文件ID号，说明上传成功
group1/M00/00/00/wKhQB2B2giWABJqWAAAAAAAAAAA166.txt
#删除
/usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKhQB2B2giWABJqWAAAAAAAAAAA166.txt
3.6、安装fastdfs-nginx-module
此部分安装在各个存储节点上，需要通过nginx安装。
(1) 安装依赖包
yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
(2) 安装nginx和fastdfs-nginx-module
#下载安装包
cd /usr/local/soft/package
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz
wget http://nginx.org/download/nginx-1.18.0.tar.gz
#解压
tar -xf V1.22.tar.gz
tar -xf nginx-1.18.0.tar.gz
#新建nginx用户
useradd -r -s /sbin/nologin nginx
#将fastdfs-nginx-module拷贝至nginx目录
mkdir /usr/local/soft/package/nginx-1.18.0/add_module
cp -r fastdfs-nginx-module-1.22 nginx-1.18.0/add_module/fastdfs-nginx-module
#编译nginx
cd nginx-1.18.0
./configure \
--user=nginx \
--group=nginx \
--prefix=/usr/local/soft/nginx \
--with-http_ssl_module \
--with-http_stub_status_module \
--with-stream \
--add-module=/usr/local/soft/package/nginx-1.18.0/add_module/fastdfs-nginx-module/src/
#安装nginx
make && make install
#复制fastdfs-nginx-module源码中的配置文件到/etc/fdfs目录，并修改
cp /usr/local/soft/package/nginx-1.18.0/add_module/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs
vim /etc/fdfs/mod_fastdfs.conf
##注意修改以下内容
tracker_server=192.168.80.7:22122 //tracker 服务器的 IP 地址和端口
tracker_server=192.168.80.17:22122 //多个 tracker 直接添加多条配置
tracker_server=192.168.80.27:22122 //多个 tracker 直接添加多条配置
group_name=group1 //组名(按主机规划里的修改各台主机的配置)
url_have_group_name = true
store_path0=/usr/local/soft/fastdfs/storage
group_count = 3
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/usr/local/soft/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/usr/local/soft/fastdfs/storage
[group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/usr/local/soft/fastdfs/storage
#复制FastDFS的部分配置文件到/etc/fdfs目录
cp /usr/local/soft/package/fastdfs-6.06/conf/http.conf /etc/fdfs
cp /usr/local/soft/package/fastdfs-6.06/conf/mime.types /etc/fdfs
(3) 修改nginx配置
cd /usr/local/soft/nginx/conf
vim nginx.conf
#可参考以下配置
user nginx;
worker_processes 2;
error_log /usr/local/soft/nginx/logs/error.log;
pid /usr/local/soft/nginx/logs/nginx.pid;
worker_rlimit_nofile 65535;
events
{
use epoll;
multi_accept on;
worker_connections 65530;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main
'remote_addr:"$remote_addr"|'
'remote_user:"$remote_user"|'
'time_local:[$time_local]|'
'request:[$request]|'
'status:"$status"|'
'body_bytes_sent:"$body_bytes_sent"|'
'http_referer:"$http_referer"|'
'http_user_agent:"$http_user_agent"|'
'request_time:"$request_time"|'
'request_body:"$request_body"|'
'http_host:"$http_host"|'
'request_length:"$request_length"|'
'upstream_status:"$upstream_status"|'
'upstream_addr:"$upstream_addr"|'
'upstream_response_time:"$upstream_response_time"'
;
map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}
access_log logs/access-$logdate.log main;
charset utf-8;
server_tokens off;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 40s;
client_header_timeout 10;
client_body_timeout 10;
client_header_buffer_size 4k;
large_client_header_buffers 4 32k;
server_names_hash_bucket_size 128;
client_max_body_size 100m;
send_timeout 10;
reset_timedout_connection on;
open_file_cache max=102400 inactive=20s;
open_file_cache_min_uses 1;
open_file_cache_valid 30s;
open_log_file_cache max=10;
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 128k;
fastcgi_buffers 256 128k;
fastcgi_busy_buffers_size 256k;
fastcgi_temp_file_write_size 256k;
fastcgi_intercept_errors on;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffering on;
proxy_buffer_size 128k;
proxy_buffers 256 128k;
proxy_busy_buffers_size 256k;
proxy_temp_file_write_size 256k;
gzip on;
gzip_min_length 256;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_vary on;
gzip_comp_level 5;
gzip_disable "MSIE [1-6]\.";
gzip_proxied any;
gzip_types
application/atom+xml
application/javascript
application/json
application/ld+json
application/manifest+json
application/rss+xml
application/vnd.geo+json
application/vnd.ms-fontobject
application/x-font-ttf
application/x-web-app-manifest+json
application/xhtml+xml
application/xml
font/opentype
image/bmp
image/svg+xml
image/x-icon
text/cache-manifest
text/css
text/plain
text/vcard
text/vnd.rim.location.xloc
text/vtt
text/x-component
text/x-cross-domain-policy;
######################################
#fastdfs
server {
listen 8088; ## 该端口为storage.conf中的http.server_port相同
server_name localhost;
location ~/group[0-9]/ {
ngx_fastdfs_module;
}
access_log /usr/local/soft/nginx/logs/storge.log;
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
(4) 启动nginx
#启动
/usr/local/soft/nginx/sbin/nginx
#停止
/usr/local/soft/nginx/sbin/nginx -s stop
#重载
/usr/local/soft/nginx/sbin/nginx -s reload
(5) 测试
#上传一张照片至服务器，如a.png
#使用FastDFS上传命令，将图片上传到FastDFS存储里
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/soft/package/a.png
##如能返回以下文件ID号，说明上传成功
group1/M00/00/00/wKhQB2B2nayAdY7zAAAUBwdbV-o889.png
#然后通过浏览器访问图片url
http://192.168.80.7:8088/group1/M00/00/00/wKhQB2B2nayAdY7zAAAUBwdbV-o889.png
3.7、安装Nginx负载均衡
此部分安装在各个跟踪节点上，即tracker节点上，主要为了提供http访问的反向代理、负载均衡以及缓存服务，如果跟踪节点与存储节点安装在一台服务器上，刚在3.6的基础上配置nginx即可。
以下为跟踪节点单独配置时的步骤：
(1) 安装依赖包
yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
(2) 安装nginx
#下载安装包
cd /usr/local/soft/package
wget http://nginx.org/download/nginx-1.18.0.tar.gz
#解压
tar -xf nginx-1.18.0.tar.gz
#新建nginx用户
useradd -r -s /sbin/nologin nginx
#编译nginx
./configure \
--user=nginx \
--group=nginx \
--prefix=/usr/local/soft/nginx \
--with-http_ssl_module \
--with-http_stub_status_module \
--with-stream
#安装nginx
make && make install
(3) 配置nginx
cd /usr/local/soft/nginx/conf
vim nginx.conf
#部分配置省略，以下为负载均衡配置，配置在http{}中
upstream fdfs_group1 {
server 192.168.10.202:8888 weight=1 max_fails=2 fail_timeout=30s;
}
upstream fdfs_group2 {
server 192.168.10.203:8888 weight=1 max_fails=2 fail_timeout=30s;
}
upstream fdfs_group3 {
server 192.168.10.204:8888 weight=1 max_fails=2 fail_timeout=30s;
}
server{
listen 8000;
server_name localhost;
access_log /usr/local/soft/nginx/logs/lb_access.log main;
error_log /usr/local/soft/nginx/logs/storge.log/lb_error.log;
location /group1/M00 {
proxy_pass http://fdfs_group1;
}
location /group2/M00 {
proxy_pass http://fdfs_group2;
}
location /group3/M00 {
proxy_pass http://fdfs_group3;
}
(4) 启动nginx
#启动
/usr/local/soft/nginx/sbin/nginx
#停止
/usr/local/soft/nginx/sbin/nginx -s stop
#重载
/usr/local/soft/nginx/sbin/nginx -s reload
