FastDFS简介
一、背景
- 早期的网站,将静态文件(图片等)直接存放在项目文件夹内,优点(简单方便快捷),缺点(耦合度高,静态文件访问占用资源多);
- 后来将静态文件分离存储在一个单独的文件服务器上,优点(解耦,降低网站服务器压力,便于扩容、备份、负载均衡等),缺点(垂直扩展性、容灾差,单机性能瓶颈);
- 分布式文件存储系统,分为三部分,文件存储系统(保存文件)、文件容灾系统(相互备份)、文件访问调度仲裁系统(调配资源,决定存储位置),优点(极大扩展能力,高可用性,弹性存储),缺点(系统复杂度高,需要更多硬件资源)。
二、FDFS简介
FastDFS是一个开源的轻量级分布式文件系统,它解决了大数据量存储和负载均衡等问题,特别适合以中小文件(建议范围:4KB-500MB)为载体的在线服务,使用纯C实现。
优势:适合通用分布式,fastDFS非常适合存储图片等那些小文件,fastDFS不对文件进行分块,所以它就没有分块合并的开销,fastDFS网络通信采用socket,通信速度很快。
FastDFS分为三个部分:
1. tracker server(追踪/调度服务器)
主要做调度工作,起负载均衡的作用,在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽,且Tracker是FastDFS的协调者,负责管理所有的storage server和group,通过心跳机制与storage建立联系并更新自己的信息,其数据全部存储在内存中。
2. storage server(存储/数据服务器)
以组(group)为单位组织(便于应用隔离、负载均衡、副本数定制(group内storage server数量即为该group的副本数),如将不同应用的数据存储至不同的组,同组内不同服务器上的文件是完全相同的),一个group内包含多台storage机器,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。
3. client(客户端)
作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
三、FastDFS文件上传下载流程
1. 上传流程
2. 下载流程
时刻与技术进步,每天一点滴,日久一大步!!!
本博客只为记录,用于学习,如有冒犯,请私信于我。