FastDFS搭建文件系统(单机版)
1、FastDFS介绍
FastDFS开源地址:https://github.com/happyfish100
1.1、简介
FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。
FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。
Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。
Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。
1.2、FastDFS的存储策略
为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
1.3、FastDFS的上传过程
FastDFS向使用者提供基本文件访问接口,比如upload、download、append、delete等,以客户端库的方式提供给用户使用。
Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时,各个Tracker之间的关系是对等的,所以客户端上传时可以选择任意一个Tracker。
当Tracker收到客户端上传文件的请求时,会为该文件分配一个可以存储文件的group,当选定了group后就要决定给客户端分配group中的哪一个storage server。在分配好storage server后,客户端向storage发送写文件请求,storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid,最后根据以上的信息生成文件名存储文件。
1.4、FastDFS的文件同步
写文件时,客户端将文件写至group内一个storage server即认为写文件成功,storage server写完文件后,会由后台线程将文件同步至同group内其他的storage server。
每个storage写文件后,同时会写一份binlog,binlog里不包含文件数据,只包含文件名等元信息,这份binlog用于后台同步,storage会记录向group内其他storage同步的进度,以便重启后能接上次的进度继续同步;进度以时间戳的方式进行记录,所以最好能保证集群内所有server的时钟保持同步。
storage的同步进度会作为元数据的一部分汇报到tracker上,tracker在选择读storage的时候会以同步进度作为参考。
1.5、FastDFS的文件下载
FastDFS的安装
2.1、安装准备
操作环境:CentOS7 X64,以下操作都是单机环境。
把所有的安装包上传到/usr/local/src/下,解压到当前目录(利用Xshell工具,rz命令):
2.2、安装 libfastcommon-master
Libfastcommon- master是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库,基础环境,安装即可 。
进入软件安装包目录
cd /usr/local/src
如果没有装解压工具unzip可以通过以下yum命令进行安装后再解压(ctrl+c 强制退出):
yum -y install unzip zip
直接解压:
unzip libfastcommon-master.zip
解压成功后进入目录看一下压缩包的文件:
cd libfastcommon-master
解压完成后就可以进行编译安装了
分别执行:
./make.sh
./make.sh install
由于是新安装的系统有可能会提示找不到gcc命令(未报错则跳过):
看到类似如下提示信息就说明libfastcommon已安装成功
至此libfastcommon就已经安装成功了,但注意一下上图中红色框标注的内容,libfastcommon.so 默认安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以此处需要重新设置软链接(类似于Windows的快捷方式):
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so --(ln: 无法创建符号链接"/usr/lib/libfastcommon.so": 文件已存在)
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
设置完毕后就可以开始安装fastdfs了。
2.3、安装 FastDFS
第一步解压(已解压)
进入软件安装包目录
cd /usr/local/src
tar –zxvf fastdfs-5.11.tar.gz
cd fastdfs-5.11
LL
解压完成后进入目录fastdfs-5.11,依次编译安装:
./make.sh
./make.sh install
没有报错就说明安装成功了,在log中我们可以发现安装路径:
没错,正是安装到了/etc/fdfs中,我们看一下该目录下的文件:
cd /etc/fdfs
上图,安装成功后就会生成如上的3个.sample文件(示例配置文件),我们再分别拷贝出3个后面用的正式的配置文件:
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp tracker.conf.sample tracker.conf
至此FastDFS已经安装完毕,接下来的工作就是依次配置Tracker和Storage了。
2.4、配置FastDFS跟踪器(Tracker)
在配置Tracker之前,首先需要创建Tracker服务器的文件路径,即用于存储Tracker的数据文件和日志文件等,我这里选择在/opt目录下创建一个fastdfs_tracker目录用于存放Tracker服务器的相关文件:
mkdir /opt/fastdfs_tracker
cd /etc/fdfs
vim tracker.conf
编辑tracker.conf ,标红的需要修改下,其它的默认即可。
# the base path to store data and log files
base_path=/opt/fastdfs_tracker
# HTTP port on this tracker server HTTP 服务端口
http.server_port=80
scp tracker.conf 192.168.96.140:/etc/fdfs/
配置完成后就可以启动Tracker服务器了,但首先依然要为启动脚本创建软引用,因为fdfs_trackerd等命令在/usr/local/bin中并没有,而是在/usr/bin路径下:
ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin
防火墙中打开跟踪端口(默认的22122等)
vim /etc/sysconfig/iptables
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 22122 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 23000 -j ACCEPT
重启防火墙:
service iptables restart
最后通过命令启动Tracker服务器:
service fdfs_trackerd start
命令执行后可以看到以下提示:
查看 FastDFS Tracker 是否已成功启动 ,22122端口正在被监听,则算是Tracker服务安装成功。
netstat -unltp|grep fdfs
确认tracker正常启动后可以将tracker设置为开机启动
chkconfig fdfs_trackerd on
或者:
vim /etc/rc.d/rc.local
service fdfs_trackerd start
如果启动命令执行成功,那么同时在刚才创建的tracker文件目录/opt/fastdfs_tracker中就可以看到启动后新生成的data和logs目录:
cd /opt/fastdfs_tracker
2.5、配置FastDFS跟踪器(Storage)
同理,步骤基本与配置Tracker一致,首先是创建Storage服务器的文件目录,需要注意的是同Tracker相比我多建了一个目录,因为Storage还需要一个文件存储路径,用于存放接收的文件:
mkdir /opt/fastdfs_storage
mkdir /opt/fastdfs_storage_data
接下来修改/etc/fdfs目录下的storage.conf配置文件,打开文件后依次做以下修改:
cd /etc/fdfs
--cp storage.conf.sample storage.conf
vim storage.conf
标红的需要修改,其它的默认即可。
disabled=false #启用配置文件(默认启用)
group_name=groupimages1 #组名(注意:区分大小写),根据实际情况修改
port=23000 #设置storage的端口号,默认是23000,同一个组的storage端口号必须一致
base_path=/opt/fastdfs_storage #设置storage数据文件和日志目录
store_path_count=1 #存储路径个数,需要和store_path个数匹配
store_path0=/opt/fastdfs_storage_data #实际文件存储路径
tracker_server=192.168.174.133:22122 #tracker 服务器的 IP地址和端口号,如果是单机搭建,IP不要写127.0.0.1,否则启动不成功(此处的ip是我的CentOS虚拟机ip)
http.server_port=80 #设置 http 端口号
scp storage.conf 192.168.96.134:/etc/fdfs/(注:同一group中的不同storage配置)
设置 Storage 开机启动
chkconfig fdfs_storaged on
或者:
vim /etc/rc.d/rc.local
加入配置:
service fdfs_storaged start
配置完成后同样要为Storage服务器的启动脚本设置软引用:
ln -s /usr/bin/fdfs_storaged /usr/local/bin
接下来就可以启动Storage服务了:
service fdfs_storaged start
命令执行后可以看到以下提示:
查看 Storage 是否成功启动,23000 端口正在被监听,就算 Storage 启动成功。
netstat -unltp|grep fdfs
同理,如果启动成功,/opt/fastdfs_storage中就可以看到启动后新生成的data和logs目录,端口23000也应被正常监听,还有一点就是文件存储路径下会生成多级存储目录,那么接下来看看是否启动成功了:
cd /opt/fastdfs_storage
cd /opt/fastdfs_storage_data
查看Storage和Tracker是否在通信:
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
如上所示,看到192.168.174.133 ACTIVE 字样即可说明storage服务器已经成功登记到了tracker服务器,同理别忘了添加开机启动,打开/etc/rc.d/rc.local并将如下配置追加到文件中:service fdfs_storaged start
然后重启service fdfs_storaged start
两台情况下:
2.6、文件上传测试:
修改 Tracker 服务器中的客户端配置文件
cd /etc/fdfs
cp client.conf.sample client.conf
vi client.conf
mkdir /opt/fastdfs_client
编辑/etc/fdfs目录下的client.conf 文件,打开文件后依次做以下修改:
base_path=/opt/fastdfs_client # Client 的数据和日志目录
tracker_server=192.168.174.133:22122 #tracker服务器IP地址和端口号
http.tracker_server_port=80 # tracker 服务器的 http 端口号,必须和tracker的设置对应起来 默认端口80
集群用到的命令:
scp client.conf 192.168.96.140:/etc/fdfs/
上传测试:
在linux内部执行如下命令上传 dog.jpg 图片
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /opt/dog.jpg
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /opt/1.jpg
上传成功后返回文件ID号:group1/M00/00/00/wKhggVwjKcmAQ3JvAAEOZuTbzfE207.jpg
特别注意: http://192.168.174.133/groupimages1/M00/00/00/wKiuhVxRXAiAKmClAABQRxwl8tI698.jpg (不能访问,不支持http)
3、安装Nginx
上面将文件上传成功了,但我们无法下载。因此安装Nginx作为服务器以支持Http方式访问文件。同时,后面安装FastDFS的Nginx模块也需要Nginx环境。
Nginx只需要安装到StorageServer所在的服务器即可,用于访问文件。我这里由于是单机,TrackerServer和StorageServer在一台服务器上。
3.1、安装nginx所需环境
gcc 安装
# yum install gcc-c++
PCRE pcre-devel 安装
# yum install -y pcre pcre-devel
zlib 安装
# yum install -y zlib zlib-devel
OpenSSL 安装
yum install -y openssl openssl-devel
3.2、安装Nginx
进入Nginx安装包目录
cd /usr/local/src/
解压
tar -zxvf nginx-1.15.8.tar.gz
cd nginx-1.15.8
使用默认配置
./configure
编译、安装
make
make install
启动nginx
cd /usr/local/nginx/sbin/
./nginx
其它命令
./nginx -s stop
./nginx -s quit
./nginx -s reload
设置开机启动
vim /etc/rc.local
添加一行:
/usr/local/nginx/sbin/nginx
查看nginx的版本及模块
/usr/local/nginx/sbin/nginx -V
3.3、访问文件
简单的测试访问文件
修改nginx.conf
vim /usr/local/nginx/conf/nginx.conf
group名称 根据自己设定来设置,假如是 group1
添加如下行,将 /group1/M00 映射到 /opt/fastdfs_storage_data/data
location /group1/M00 {
alias /opt/fastdfs_storage_data/data;
}
# 重启nginx
# /usr/local/nginx/sbin/nginx
-s reload
在浏览器访问之前上传的图片、成功。
http://192.168.174.133/groupimages1/M00/00/00/wKiuhVxRXAiAKmClAABQRxwl8tI698.jpg
特别注意:
Linux 重启后 ,用命令查看 Tracker 和 Storage 服务是否启动成功“
命令如下: /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
并且可能要重启一下 防火墙设置;:
1.service iptables restart
2. 启动nginx
cd /usr/local/nginx/sbin/
./nginx
4、FastDFS 配置 fasdfs和Nginx重定向文件获取模块
4.1 fastdfs-nginx-module 模块说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储, 但是同组存储服务器之间需要进行文件复制, 有同步延迟的问题。
假设 Tracker 服务器将文件上传到了 192.168.96.128,上传成功后,文件 ID已经返回给客户端。
此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.96.129,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.96.129 上取文件,就会出现文件无法访问的错误。
而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。
4.2 下载 fastdfs-nginx-module、解压(开始已经下载好 直接解压)
cd /usr/local/src/
unzip fastdfs-nginx-module-master.zip
4.3配置Nginx
在nginx中添加模块
先停掉nginx服务
/usr/local/nginx/sbin/nginx
-s stop
cd nginx-1.15.8
添加模块
./configure --add-module=../fastdfs-nginx-module-master/src
重新编译、安装
make
make install
查看Nginx的模块
/usr/local/nginx/sbin/nginx -V
有下面这个就说明添加模块成功:
4.4复制fastdfs-nginx-module-master中的的配置文件到/etc/fdf目录, 并修改
cd /usr/local/src/fastdfs-nginx-module-master/src
cp
mod_fastdfs.conf /etc/fdfs/
cd /etc/fdfs/
vim mod_fastdfs.conf
修改如下配置,其它默认
# Tracker Server
tracker_server=192.168.174.133:22122
# StorageServer 默认端口
storage_server_port=23000
group_name=groupimages1
# 如果文件ID的uri中包含/group**,则要设置为true
url_have_group_name = true
# Storage 配置的store_path0路径,必须和storage.conf中的一致
store_path0=/opt/fastdfs_storage_data
scp mod_fastdfs.conf 192.168.96.134:/etc/fdfs/
4.5复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/src/fastdfs-5.11/conf
cp anti-steal.jpg http.conf mime.types /etc/fdfs/
4.6配置nginx,修改nginx.conf
vim /usr/local/nginx/conf/nginx.conf
修改配置,其它的默认
在80端口下添加fastdfs-nginx模块(注释掉之前Nginx的配置)
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
注意:
listen 80 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相对应。如果改成其它端口,则需要统一,同时在防火墙中打开该端口。
location 的配置,如果有多个group则配置location ~/group([0-9])/M00 ,没有则不用配group。
4.7启动nginx
/usr/local/nginx/sbin/nginx
如下所示则配置成功
4.8在地址栏访问
能下载文件就算安装成功。注意和第三点中直接使用nginx路由访问不同的是,这里配置 fastdfs-nginx-module 模块,可以重定向文件链接到源服务器取文件,防止出现同一组中的storage 同步文件(图片)延迟造成请求访问不到的情况。
http://192.168.174.133/groupimages1/M00/00/00/wKiuhVxRXAiAKmClAABQRxwl8tI698.jpg
5.注意事项 遇到的Error解决方案:
fatal error: common_define.h: No such file or directory:
在CentOS7 Linux安装FastDFS报错
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory
主要发生在以下步骤中:
1 配置,并加载fastdfs-nginx-module模块:
Cd 到 nginx-1.15.8
./configure --add-module=../fastdfs-nginx-module-master/src2 编译安装:
make (此处会发生报错)
make install
解决方案:
修改fastdfs-nginx-module-1.20/src/config文件,在从1处重新配置
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
6.参考博文:
单机模式:
参考博文:
http://www.cnblogs.com/beyondcj/p/7160090.html
集群模式:
参考博文:
https://blog.csdn.net/u012453843/article/details/68957209
https://blog.csdn.net/u012453843/article/details/69055570
https://blog.csdn.net/u012453843/article/details/69172423