Linux 部署 FastDFS
FastDFS
安装规划:
项目 信息
Group Name group1
FastDFS安装主目录 /usr/local/fastdfs-5.0.8
FastDFS work主目录 /usr/local/fastdfs-workhome
FastDFS Tracker Server work主目录 /usr/local/fastdfs/tracker
FastDFS Storage Server work主目录 /usr/local/fastdfs/storage
FastDFS Tracker Server服务端口 22122
FastDFS Tracker Server HTTP 端口 22080
FastDFS Storage Server 服务端口 23000
FastDFS Storage Server HTTP端口 23080
下载并安装
# 下载 github搜索 LibFastCommon FastDFS fastdfs-nginx-module 这里使用happyfish100的仓库
# 下载链接获取 点进项目 -> release -> 选择版本 -> Win下载zip | Linux下载tar.gz
# 下载包
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.41.tar.gz
wget https://github.com/happyfish100/fastdfs/archive/V6.03.tar.gz
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz
##解压 LibFastCommon FastDFS
tar -zxvf V1.0.41.tar.gz
tar -zxvf V6.03.tar.gz
tar -zxvf V1.22.tar.gz
# 安装流程 进入文件夹 -> 编译 -> 安装
# 查看文件夹
ls
cd 目标文件夹
./make.sh
./make.sh install
采用默认安装的方式安装,安装后的相应文件与目录:
A、服务脚本在:
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
# ll /etc/init.d/ | grep fdfs*
B、配置文件在(样例配置文件)
/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample
# ll /etc/fdfs/
C、命令工具在/usr/bin/目录下
3.3.2 配置FastDFS Tracker Server
(1) 复制tracker server配置文件模板
# cd /etc/fdfs/
# cp tracker.conf.sample tracker.conf
(2) 修改tracker.conf配置
对其中的部分配置项调整如下:
base_path=/usr/local/fastdfs-workhome/tracker
rotate_error_log = true
log_file_keep_days = 30
3.3.3 配置client
(1)复制client配置文件模板
# cd /etc/fdfs
# cp client.conf.sample client.conf
(2) 修改client配置
对client.conf中的部分配置项调整如下:
base_path=/usr/local/fastdfs-workhome/tracker
tracker_server=ip:22122
tracker_server=ip:22122
注意:上面配置项中的tracker_server的两条记录均需要保留在配置文件中。
3.3.4 配置FastDFS Storage Server
(1) 复制配置文件模板
# cd /etc/fdfs
# cp storage.conf.sample storage.conf
(2) 修改storage.conf
对storage.conf中的部分配置项调整如下:
base_path=/usr/local/fastdfs-workhome/storage
#store_path0=/home/yuqing/fastdfs (注释掉本行)
tracker_server=ip地址:22122
use_access_log = true
rotate_access_log = true
rotate_error_log = true
log_file_keep_days = 30
如果需要配合nginx启动,还需要转移http.conf、mime.types。否则nginx无work进程
cp /usr/local/fastdfs/conf/http.conf http.conf
cp /usr/local/fastdfs/conf/mime.types mime.types
4. 服务启停
4.1 启停tracker
(1) 启动tracker
# service fdfs_trackerd start
# ss -lntup|grep 22122
首次启动tracker会在tracker的work主目录下创建data、logs目录
(2) 停止tracker服务
# service fdfs_trackerd stop
# ss -lntup|grep 22122
4.2 启停storage
重要:启动storage时需要保证当前集群中所有的tracker都处于启动状态。
(1) 启动storage
# service fdfs_storaged start
# ss -lntup|grep 23000
首次启动storage server,其会自动在storage主目录下创建data、logs目录
(2) 停止storage
# service fdfs_storaged stop
# ss -lntup|grep 23000
4.3 设置FastDFS服务化(开机启动)
# vi /etc/rc.d/rc.local
添加以下内容:
## FastDFS Tracker
service fdfs_trackerd start
service fdfs_storaged start
- 服务验证
5.1 上传文件
(1) 上传一个测试图片文件到服务器,路径为:
/home/usr/test.jpg
(2) 上传至FastDFS
# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/user/test.jpg
返回文件ID说明上传成功,接下来查看文件状态
# /usr/bin/fdfs_file_info /etc/fdfs/client.conf group1/M00/00/00/Cmho21lJ3ECAPr9TAANoS18-GXE264.jpg
5.2 下载文件
fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/Cmho11lI7RKAMpJRAANoS18-GXE892.jpg
5.3 删除文件
fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/Cmho11lI7RKAMpJRAANoS18-GXE892.jpg
增加HTTP能力
- 安装规划
项目 信息
nginx安装包主目录 /usr/local/nginx-1.6.3-src
nginx安装目录 /usr/local/nginx-1.6.3
storage server的nginx绑定监听端口 80
FastDFS Storage Server work主目录 /usr/local/fastdfs/storage
FastDFS Storage Server 服务端口 23000
3、nginx安装
(1) 安装包准备
- 上传相关安装包nginx-1.6.3.tar.gz、fastdfs-nginx-module_v1.16.tar.gz 到目录: /usr/local/nginx-1.6.3-src下。
- 安装包解压
# wget https://nginx.org/download/nginx-1.16.1.tar.gz
# wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz
# tar -zxvf nginx-1.16.1.tar.gz
# tar -zxvf V1.22.tar.gz
# mv fastdfs-nginx-module-1.22/ fastdfs-nginx-module
(2) 依赖程序包安装
安装zlib、pcre程序
# yum install -y zlib zlib-devel
# yum install -y pcre pcre-devel
# yum install gd-devel
(3) nginx安装
重要:首先修改fastdfs-nginx-module/src目录下的config文件,去除CORE_INCS配置项中相关路径中的/local,定位到/usr/include。
编译安装nginx,注意--prefix指定安装目录:
# cd /usr/local/nginx-1.6.3-src/nginx
# ./configure --prefix=/usr/local/nginx --user=root --with-http_image_filter_module --with-http_stub_status_module --add-module=../fastdfs-nginx-module/src
# make
# make install
(4) nginx基本配置
# cd /usr/local/nginx-1.6.3/conf
# vim nginx.conf
# 涉及的主要修改配置项如下:
user root;
worker_processes 1;
worker_rlimit_nofile 51200;
events {
use epoll;
worker_connections 51200;
}
http {
include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
proxy_set_header Host $Host;
proxy_set_header X-Real_Ip $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
real_ip_header X-Forwarded-For;
sendfile on;
keepalive_timeout 65;
server {
listen 80;
server_name _;
location /NginxStatus {
allow 10.0.0.0/8;
allow 172.0.0.0/8;
deny all;
stub_status on;
access_log off;
}
location / {
root html;
index index.html index.htm;
}
(5) nginx服务验证
- 启动nginx
# cd /usr/local/nginx-1.6.3/sbin
# ./nginx
# ps -ef | grep nginx | grep -v greproot 13099 1 0 14:59 ? 00:00:00 nginx: master process ./nginx
如果启动异常,可以查看nginx的logs目录下的error.log日志.
- 通过状态监控页面验证
浏览器访问 http://ip地址/NginxStatus
补充nginx常用命令:
./nginx -t 检查配置文件
./nginx -s quit:此方式停止步骤是待nginx进程处理任务完毕进行停止。
./nginx -s stop:此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程。
# 当 ngin x的配置文件 nginx.conf 修改后,要想让配置生效需要重启 nginx,使用-s reload不用先停止 ngin x再启动 nginx 即可将配置信息在 nginx 中生效,如下:
./nginx -s reload
(6) 加入到自启动程序
# vi /etc/rc.d/rc.local
添加以下内容:
## nginx
/usr/local/nginx-1.6.3/sbin/nginx
Nginx基础服务安装完成.
4. 配置fastdfs-nginx-module
(1) 将fastdfs-nginx-module/src目录下的mod_fastdfs.conf复制到/etc/fdfs目录下。
# cd /usr/local/fastdfs-5.0.8/FastDFS/conf
# cp anti-steal.jpg http.conf mime.types /etc/fdfs/
# cp /usr/local/nginx-1.6.3-src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
(2) 修改etc/fdfs/mod_fastdfs.conf中的配置
主要修改的配置项如下:
# the base path to store log files
base_path=/usr/local/fastdfs-workhome/storage
# FastDFS tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
# valid only when load_fdfs_parameters_from_tracker is true
tracker_server=ip地址:22122
tracker_server=ip地址:22122
# if the url / uri including the group name
# set to false when uri like /M00/00/00/xxx
# set to true when uri like ${group_name}/M00/00/00/xxx, such as group1/M00/xxx
# default value is false
url_have_group_name = true
# set the group count
# set to none zero to support multi-group
# set to 0 for single group only
# groups settings section as [group1], [group2], ..., [groupN]
# default value is 0
# since v1.14
group_count = 1
# group settings for group #1
# since v1.14
# when support multi-group, uncomment following section
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/usr/local/fastdfs/storage
(3) 修改nginx配置
在http/server节点中添加如下内容
location /group1/M00{
root /usr/local/fastdfs/storage/;
ngx_fastdfs_module;
}
(4)服务验证
- 重新启动nginx或者reload配置文件使nginx加载最新的配置。
sbin/nginx -t
sbin/nginx -s reload
ps -ef | grep nginx
# 看到nginx的master和work进程都在才行
# 无法访问则 ss -anptu | grep nginx 检查nginx是否监听80端口,防火墙是否拦截80端口
5. 加入动态缩略图功能
图片服务器提供动态的图片缩放,不在采用提前上传各个尺寸的图片的方式。这样既可以节省存储空间,也可以增强功能的灵活性(避免尺寸需求变更,需要重新上传全部图片)。
图片服务器采用nginx的扩展模块——http_image_filter_module实现图片的动态缩放,因为
http_image_filter_module是nginx自身提供的集成图片处理模块,支持nginx-0.7.54以后的版本,可以实现实时缩放图片,旋转图片,验证图片有效性以及获取图片宽高以及图片类型信息。对于图片服务器来说,访问顺序是cdn->nginx->图片服务器,cdn会回源访问nginx,nginx动态生成指定分辨率的图片后,下次用户再访问此分辨率图片时,cdn上已经有了缓存,会大大减少并发动态生成缩略图的访问量。
在步骤4中,我们已经安装了动态缩略图的相关module——http_image_filter_module。所以本小节只需要修改nginx配置即可。
(1) 修改nginx配置
# cd /usr/local/nginx/conf
# vim nginx.conf
在http> server节点下相关配置信息如下
location ~ group(\d+)/M00/(.+)_(\d+)x(\d+)\.(jpg|gif|png){
# root /usr/local/fastdfs-workhome/storage/data;
ngx_fastdfs_module;
set $w $3;
set $h $4;
if ($w != "0") {
rewrite group(\d+)/M00(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ group$1/M00$2.jpg break;
}
image_filter resize $w $h;
image_filter_buffer 2M;
}
重新刷新nginix服务。
(2) 服务验证
浏览器中访问url已验证缩放功能。
http://ip/group1/M00/00/00/Cmho21lJ3ECAPr9TAANoS18-GXE264_100x50.jpg