FastDFS教程Ⅲ-文件服务器扩容

1.简介

FastDFS文件服务器在设计时，为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

基于FastDFS文件服务器的特性，在做文件扩充容量时，可采取如下两种方案：

扩充group的存储空间，配置多个存储文件目录地址。
扩充存储节点，新加服务器配置多个storage。

2.storage文件存储原理介绍

在处理文件服务器扩充容量的时候，首先需要了解文件服务器存储的关键机制和一些重要参数。

一般设置一个storage属于一个分组group,一个分组group对应的数据存储目录地址可一个或多个。（这一点保证了group的文件地址容量扩展）
一个group的一个目录存储地址最多可存储的文件个数为：256*256*1000=65536000。storage文件存储机制中，有小文件合并存储到一个大文件的机制。
一个storage可以配置多个tracker地址，同理一个tracker可以分配文件存储到多个storage上面。（这一点保证了服务器storage容量扩展）
当一个storage中有多个文件目录地址时，通过tracker.conf中的关键参数store_path，可以配置一个文件在存储时，多个对应存储目录地址的存储机制，如轮询或选择剩余空间大的文件目录。
当一个tracker对应的存储storage具有多个时，通过tracker.conf中的store_lookup，store_server，可以配置当文件上传时，对应多个storage服务器的存储机制，如轮询或选择空间大的服务器。
storage文件服务器默认存储空间配置时，当达到文件目录空间的10%时，便不可以在存储文件，可通过tracker.conf中的reserved_storage_space参数，修改默认值。
多个storage可以属于一个组或多个组，当两个或多个storage属于一个组时，各个storage中的文件相互备份。这种机制的优点是保证了文件服务器的备份和负载均衡，缺点是两个storage的存储容量是两个中较小storage的存储容量。

2.基于group模式的文件存储扩容

group模式扩容是通过给group的机器添加硬盘的方式，实现某个group的扩容。fastdfs在一台服务器支持多个store_path，每个store_path指向一个存储路径。如：url “M00/3F/E1/oYYBAFXfyuOABOf5AAAHoDwhqE0491.txt”中M00表示使用store_path0，如果没有配置store_path，就使用base_path的路径。添加了硬盘后，通过把新的store_path指向新硬盘的挂载点，再修改配置文件，就能实现group的扩容。扩容后的地址如：url “M01/3F/E3/oYYBAFXfyuOABOf5AAAHoDwhqE0591.txt”中M01表示使用store_path1。group模式扩容主要步骤如下：

1.停止现有的tracker服务，storage服务，操作指令如：/etc/init.d/fdfs_trackerd stop ,/etc/init.d/fdfs_storaged stop ；
2.修改/etc/fdfs/storage.conf配置文件，修改字段store_path_count,新增store_path1文件存储路径，新建store_path1的文件目录；

3.修改/etc/fdfs/storage.conf/mod_fastdfs.conf配置文件，修改字段store_path_count,新增store_path1文件存储路径，设置group1的配置信息；

4.修改/application/nginx/conf/nginx.conf配置文件，增加store_path1的访问代理；

5.重新启动tracker,storage,nginx服务，通过命令 /usr/bin/fdfs_monitor /etc/fdfs/storage.conf（ /usr/bin/fdfs_monitor为f调用astdfs的命令，根据安装目录而定）可查看文件服务器的运行状态和配置信息。

结果展示：调用文件clent.conf配置文件，通过文件上传命令上传文件，查看文件的存储地址信息如下：

3.基于storage模式的文件存储扩容

storage扩容主要是通过新增服务器的模式，在一台电脑上安装多个storage的模式不推荐。新增一台服务器的目的是为了扩容，便不能让新加的storage与原来存在的storage属于同一个组，设置为同一个组并不能扩容，只是备份的效果。已有文件系统信息为：

单节点文件服务器：ip:10.63.0.155 部署tracer,storage,nginx服务；

扩容信息为：在服务器10.63.0.154上面新建storage存储文件。具体操作步骤如下：

1.在新的服务器上，安装单节点文件服务器，具体安装教程参考：FastDFS教程Ⅰ-文件服务器安装与Nginx配置
2.安装好文件服务器，nginx等相关软件后，设置配置文件storage.conf的tracker地址为10.63.0.155上面的tracker地址；
3.配置storage.conf，mod_fastdfs.conf文件中的group名字，如已经存在的storage属于group2,新加的设置为group1;
4.修改已经存在的tracker服务器配置信息，修改文件有mod_fastdfs.conf，nginx.conf,storage_ids.conf文件；
5.在做扩容时，新的storage配置的存储路径，若在老的tracker服务器上面，没有对应的文件路径地址，在启动tracer服务时，会有启动报文件找不到路径的错误情况，针对这样的问题，在tracker所在服务器上面，配置建立一套这样的文件路径就可以了。这个文件实际并没有存储信息。如：新路径为/data/storage/testtwo，启动tracker报/data/storage/testtwo找不到文件路径，在tracker服务器上面配置这个地址就可以了。