fastdfs分布式文件系统部署

前言

传统web站点部署大部分都是基于动静分离的方式，静态图片存放于一台nfs存储。但是这种架构有一个问题就是nfs存储是单点，而且如果图片量过大的时候，则nfs会成为性能短板。基于此可以采用分布式存储的替代方案来替代nfs。
fastdfs不但可以存储图片，还可以存储其他非结构化数据，其特性是可以存放海量的中小容量文件，而且性能和容量也不会成为瓶颈。

fastdfs架构

fastdfs基于如下两个组件组成：

• tracker节点：存储数据的元数据节点，此节点存放的是所有数据的元数据，如数据路径，保存时间等信息。其信息是storage节点定时上传到tracker节点的。
• storage节点：用于存放数据，storage节点的特点是两个或多个节点为一组构成一个集群，类似于镜像集群，数据只存放于两台上任意一台，而另一台则自动从另一台同步数据，保证数据为双份或多份。
  架构图：
  

fastdfs访问步骤

上传文件步骤

1. 客户端上传文件请求，请求到到tracker节点；
2. tracker节点基于内部算法选择合适的storage节点发送给客户端；
3. 客户端访问指定的storage节点，然后保存到指定storage上；
   访问文件步骤
4. 客户端发起请求到tracker节点；
5. tracker节点基于请求文件路径可以得出文件存放在哪个storage节点上，因为请求文件名是包含路由信息的；
6. tracker节点返回storage节点信息给client，client访问storage节点拿到数据；

实验配置

此处采用4台服务器进行配置，一台既为tracker节点，也为storage节点，其余3台都为storage节点。

下载源码包制作成rpm包
安装的话可以通过编译安装，不过此处因为要安装4台服务器，所以我从github克隆下来源码制作成源码包进行分发安装，提高效率。

1. github克隆源码包，因为fastdfs依赖于libevent，所以需要首先安装libevent。

git clone https://github.com/happyfish100/libfastcommon.git
git clone https://github.com/happyfish100/fastdfs.git

2. 修改下载先来的源码包目录名，加上版本号，版本号可以从目录内的spec文件内查看到，并且制作成.tar.gz格式的包

mv libfastcommon libfastcommon-1.0.36
tar zcf libfastcommon libfastcommon-1.0.36.tar.gz libfastcommon libfastcommon-1.0.36/*
mv fastdfs fastdfs fastdfs fastdfs-5.0.11
tar zcf fastdfs-5.0.11.tar.gz fastdfs-5.0.11/*

3. 安装development tools编译包，然后创建rpmbuild目录，并把相应tar.gz包和spec文件拷贝到相应目录进行rpm包制作

mkdir /root/rpmbuild/{SOURCES,SPECS}
mv libfastcommon libfastcommon-1.0.36.tar.gz /root/rpmbuild/SOURCES/
mv /root/libfastcommon-1.0.36/libfastcommon.spec /root/rpmbuild/SPECS/
mv fastdfs-5.0.11.tar.gz  /root/rpmbuild/SOURCES/
mv /root/fastdfs-5.0.11/fastdfs.spec /rpm/rpmbuild/SPECS/

4. 进入/root/rpmbuild/SPECS/目录，进行rpm包制作

rpmbuild -bb libfastcommon.spec
rpmbuild -bb fastdfs.spec

5. 制作完成之后会在rpmbuild目录下生成一些目录，如下：
   
   其中RPMS目录为制作好的源码包
   

6. 先安装libfastcommon，因为fastdfs依赖它，然后再安装fastdfs即可，然后拷贝到其他服务器进行安装。

配置tracker节点
安装完成之后会在/etc目录下生成fdfs目录，其中文件如下，其中为各种配置文件：

配置tracker.conf

base_path=/data/fastdfs    #修改工作路径为自己创建路径

port=22122    #监听端口为221222端口#

# the method of selecting group to upload files    #指定文件上传方式时上传到哪个组#
# 0: round robin    #轮询选择#
# 1: specify group    #指定组#
# 2: load balance, select the max free space group to upload file    #根据负载，哪个组剩余空间最大上传到哪个组#
store_lookup=2

# which group to upload file    #如果指定组，此处指定上传到哪个组#
# when store_lookup set to 1, must set store_group to the group name
store_group=group2

# which storage server to upload file    #上传到组内哪个服务器#
# 0: round robin (default)    #轮询#
# 1: the first server order by ip address    #ip小的服务器#
# 2: the first server order by priority (the minimal)    #根据服务器优先级#
# Note: if use_trunk_file set to true, must set store_server to 1 or 2
store_server=0

# which path(means disk or mount point) of the storage server to upload file    #上传到服务器哪个硬盘#
# 0: round robin    #轮询#
# 2: load balance, select the max free space path to upload file    #根据剩余空间#
store_path=0

# which storage server to download file    #从组内哪个服务器请求数据#
# 0: round robin (default)    #轮询#
# 1: the source storage server which the current file uploaded to    #最开始上传到哪个服务器#
download_server=0

其他参数无需过多修改。
配置storage节点

1. 四台服务器都需要配置storage节点，修改/etc/fdfs/storage.conf文件

group_name=group1    #指定组名，此处四台服务器，两台为group1，两台为group2,组成镜像组#
port=23000    #指定工作端口#
store_path_count=1    #指定数据存储路径，如果有多个则按照实际数量写，此处只有一个，则写1#
store_path0=/data/storage    #数据存储路径#
tracker_server=192.168.11.200:22122    #tracker节点ip和端口#
upload_priority=10    #数据上传优先级#

2. 配置完成启动服务，tracker服务器需要启动两个服务，storage服务器只需要启动storage服务：

service fdfs_storaged start
service fdfs_trackerd start

3. storage服务器启动之后会在指定存储目录创建多级文件夹，上传的数据就是根据文件名hash值选择相应文件夹进行存放的，如下：
   

上传文件进行测试

1. 上传文件需要配置一个节点为client节点，此处配置tracker节点也为client节点，修改/etc/fdfs/client.conf配置文件，只需修改如下两项即可：

base_path=/data/fastdfs    #client日志存储路径#
tracker_server=192.168.11.200:22122    #tracker节点ip和端口#

2. 上传文件，下图表示上传成功，并显示上传之后的文件名：
   
3. 可以通过fdfs_file_info命令查看文件存储在哪里，下图表示存储在ip为203的节点上：
   
4. 因为203和204服务器互为镜像，所以204节点此时在相同的目录下也会存在此文件。

编译安装nginx，通过http发布文件

1. 在文件存在相应服务器编译安装nginx，需要给nginx打上fastdfs-nginx-module的补丁；
2. 下载fastdfs-nginx-module，从https://github.com/happyfish100/fastdfs-nginx-module.git通过git clone即可克隆下来；
3. 下载nginx源码包进行编译

./configure   --prefix=/usr   --sbin-path=/usr/sbin/nginx   --conf-path=/etc/nginx/nginx.conf   --error-log-path=/var/log/nginx/error.log   --http-log-path=/var/log/nginx/access.log   --pid-path=/var/run/nginx/nginx.pid    --lock-path=/var/lock/nginx.lock   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre   --with-debug   --add-module=../fastdfs-nginx-module/src/

4. 在/usr/lib/systemd/system/路径下创建nginx.service文件

[Unit]
Description=nginx server
after=network.target remote-fs.target nss-lookup.target
[service]
type=forking
pidfile=/run/nginx.pid
execstartpre=/usr/bin/rm -rf /run/nginx.pid
execstartpre=/usr/sbin/nginx -t
execstart=/usr/bin/nginx
execreload=/bin/kill -s HUP $MAINPID
killsignal=SIGQUIT
timeoutstopsec=5
killmode=process
privatetmp=true
[install]
wantedby=multi-user.target

5. 把fastdfs-nginx-module中的mod_fastdfs.conf拷贝到/etc/fdfs/路径下，并修改配置

base_path=/data/fastdfs    #指定工作目录#
tracker_server=192.168.11.200:22122    #指定tracker的ip地址#
group_name=group2    #指定当前服务器所属组#
url_have_group_name = false    #此项如果为true，则访问文件需要在前面添加group信息，否则直接写M00即可#
store_path0=/data/storage    #指定存储路径#
log_filename=/data/fastdfs/logs/mod_fastdfs.log    #指定log日志文件路径#

6. 编辑/etc/nginx/nginx.conf文件，添加如下内容

location /M00 {
            alias /data/storage/data;
            ngx_fastdfs_module;
}

7. 启动nginx，然后访问指定文件，如group2/M00/00/00/wKgLy1ltrLCAZ4TOAA6q2wjnW8s371.jpg文件，可以看到访问成功。
   

总结

现在文件只是能够分布式上传到不同的服务器节点了，但是如果要访问的话还需要在本地安装nginx，不过nginx需要打fastdfs-nginx-module补丁才能使用。编译成功之后本地配置nginx的反向代理到指定的工作目录即可通过nginx访问到指定资源。不过生产环境中fastdfs中文件的上传下载都是通过前端的程序来自动写入和请求的。