FastDFS入门

 一、系统架构

 

二、构成部分

1、Tracker Server：跟踪服务器，记录文件信息，可单台或集群部署。

2、Storage Server：存储服务器，文件存储位置，分卷或分组部署。

3、Client：客户端

三、性质

1、文件存储大小：4KB ~ 500MB

2、V3.0版本后，新增小文件合并存储机制

3、文件ID由系统生成，作为访问凭证

4、下载文件支持多线程方式，支持断点续传

5、以key-value的方式管理文件的元数据

四、原理

文件保存或获取原则：

1、ribon轮询

2、指定

3、优先选取剩余存储空间多的

文件删除：针对小文件，删除合并文件的小文件对饮offset位置内容，可复用。

五、缺陷

1、因为文件上传保存到一台服务器，即认为是成功的。如果这台服务器发生故障，文件没来得及同步到同组下其它StorageServer，则文件很大可能会丢失。

2、文件删除时，是删除合并文件的指定索引内容，由于空间难以复用，和系统本身无回收机制，会造成空间浪费。

3、负载均衡是静态的，启动前就需配置，无法动态配置。

4、JAVA支持API较少，很多需要自己实现。

六、环境搭建（系统：utunbu18）

1、安装gcc、git、make、pcre、zlib等软件

2、git下载libfastcommon、fastfds、fastfds-nginx-module、nginx并安装

3、配置tracker.conf、storage.conf、clent.conf、nginx.conf

注：本地搭建单机模式，未使用NG

 

七、项目接入

1、项目pom添加fastdfs-client依赖

2、添加fdfs依赖配置项

 

3、测试

 

4、文件可正常下载

github地址：https://github.com/YhcAndHc/dfs-demo.git

注意里面有hdfs和fastdfs两个demo，请按需下载。