FastDFS概述及原理

FastDFS概述

FastDFS是一个以C语言开发的开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以中小文件（建议范围：4KB < file_size <500MB），如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS开源地址：https://github.com/happyfish100

FastDFS原理

FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。

• Tracker server 追踪服务器

  主要作用是负载均衡和资源调度。

  追踪服务器负责接收客户端的请求，选择合适的组合storage server ，tracker server 与 storage server之间也会用心跳机制来检测对方是否活着。

  Tracker需要管理的信息也都放在内存中，并且里面所有的Tracker都是对等的（每个节点地位相等），很容易扩展。

  客户端访问集群的时候会随机分配一个Tracker来和客户端交互。

• Storage server 储存服务器

  实际存储数据，分成若干个组（group），实际traker就是管理的storage中的组，而组内机器中则存储数据，group可以隔离不同应用的数据，不同的应用的数据放在不同group里面。

• 优点：海量的存储：主从型分布式存储，存储空间方便拓展，且集群的实现也使系统不存在单点故障问题，用户不会因为服务器宕机而无法访问文件资源。fastDFS对文件内容做hash处理，避免出现重复文件，然后fastDFS结合Nginx集成, 提供网站效率。

• 客户端Client

  主要是上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx。

FastDFS工作流程

文件上传：Client会先向Tracker询问存储地址，Tracker查询到存储地址后返回给Client，Client拿着地址直接和对应的Storage通讯，将文件上传至改Storage。

storage会将他所挂载的所有数据存储目录的底下都创建2级子目录，每一级256个总共65536个，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据作为本地文件存储到该目录中。

文件下载：当客户端向Tracker发起下载请求时，并不会直接下载，而是先查询storage server（检测同步状态），返回storage server的ip和端口，然后客户端会带着文件信息（组名，路径，文件名），去访问相关的storage，然后下载文件。