图片展示模块---FastDFS分布式文件系统
使用分布式文件系统FastDFS搭建图片服务器。
1、什么是FastDFS
用c语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、下载等),解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务。而且FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
2、为什么使用FastDFS?
图片有很多,但容量有上限,所以要把这些所有的图片存储到多台服务器上,还要进行统一管理,那么就需要一个分布式文件系统,FastDFS适合于存取图片。
3、FastDFS架构
FastDFS架构包括Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。Tracker server的作用是负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务,可以将tracker称为追踪服务器或调度服务器。Storage server作用是文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件,可以将storage称为存储服务器。
支持多个客户端对FastDFS集群服务进行访问,Tracker是跟踪器,负责协调Client与Strorage之间的交互,为了实现高可用,需要用多个Tracker来作为跟踪器。Storage是专门用来存储东西的,而且是分组进行存储的,每一组可以有多台设备,组内的设备存储的内容完全一致,这样做也是为了高可用性,当现有分组容量不够时,我们可以水平扩容,即增加分组来达到扩容的目的。需要注意的是,如果一组中的设备容量大小不一致,该组的容量以最小的容量为准。
4、上传图片流程
0、Storage Server定时向Tracker server上传状态信息
1、客户端向tracker server发送上传连接请求,
2、tracker查看可用的storage,
3、返回storage的ip和端口号给客户端,
4、客户端根据返回的storage信息找到相应的storage,上传图片
5、storage保存图片,生成file_id(包括路径信息和文件名),将图片写入磁盘,同时向tracker进行汇报,告诉tracker自己目前是否还留有剩余空间,以及剩余空间大小。
6、返回file_id给客户端
7、客户端存储文件信息。
文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名,如下所示:
- 组名:文件上传后所在的storage组名称,在文件上传成功后由storage服务器返回,需要客户端自行保存。
- 虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项
store_path*
对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。 - 数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
- 文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息
5、图片下载流程
0、storage向tracker上传状态信息
1、客户端向tracker发起下载连接请求
2、tracker查询可用的storage(参数为组名和文件名)
3、tracker返回一台可用的storage的ip和端口号给客户端
4、客户端直接和storage通信完成文件下载。