FastDFS

FastDFS安装与使用

下载地址

FastDFS所需软件：
链接: https://pan.baidu.com/s/15Lm9qWxmoyY1Mqz9pdCG9w 提取码: 99bg

什么是分布式文件系统

分布式文件系统解决了海量文件存储及传输访问的瓶颈问题，对海量视频的管理、对海量图片的管理等。
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

为什么会有分布文件系统

存在问题

分布式文件系统是面对互联网的需求而产生，互联网时代对海量数据如何存储？
靠简单的增加硬盘的个数已经满足不了我们的要求，因为硬盘传输速度有限但是数据在急剧增长，
另外我们还要要做好数据备份、数据安全等。

解决办法

采用分布式文件系统可以将多个地点的文件系统通过网络连接起来
组成一个文件系统网络，结点之间通过网络进行通信
一台文件系统的存储和传输能力有限，我们让文件在多台计算机上存储，通过多台计算共同传输
示例图

好处

一台计算机的文件系统处理能力扩充到多台计算机同时处理
一台计算机挂了还有另外副本计算机提供数据。
每台计算机可以放在不同的地域，这样用户就可以就近访问，提高访问速度

主流的分布式文件系统

NFS
在客户端上映射NFS服务器的驱动器
客户端通过网络访问NFS服务器的硬盘完全透明。
结构图
GFS
GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver组成
master存储了数据文件的元数据，一个文件被分成了若干块存储在多个chunkserver中。
用户从master中获取数据元信息，从chunkserver存储数据
结构图
HDFS
Hadoop分布式文件系统主要用于大数据
HDFS采用主从结构，一个HDFS集群由一个名称结点和若干数据结点组成
名称结点存储数据的元信息，一个完整的数据文件分成若干块存储在数据结点。
客户端从名称结点获取数据的元信息及数据分块的信息，得到信息客户端即可从数据块来存取数据。
结构

什么是fastDFS

简介

FastDFS是用c语言编写的一款开源的分布式文件系统，它是由淘宝资深架构师余庆编写并开源。
FastDFS专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，
使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务

为什么要使用fastDFS

通用分布式文件系统
NFS、GFS都是通用的分布式文件系统
通用的分布式文件系统的优点的是开发体验好，但是系统复杂性高、性能一般
|
专用分布式文件系统
专用的分布式文件系统虽然开发体验性差，但是系统复杂性低并且性能高。
fastDFS非常适合存储图片等那些小文件，fastDFS不对文件进行分块，
所以它就没有分块合并的开销，fastDFS网络通信采用 socket，通信速度很快

fastDFS工作原理

FastDFS架构包括 Tracker server和Storageserver。
客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。

结构图
在这里插入图片描述

Tracker

作用：

Tracker Server作用是负载均衡和调度，

通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。

可以将tracker称为追踪服务器或调度服务器。

集群：

FastDFS集群中的Tracker server可以有多台
Tracker server之间是相互平等关系同时提供服务.
客户端请求Tracker server采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker。

Storage

作用：

Storage Server作用是文件存储，客户端上传的文件最终存储在Storage服务器上

集群

Storage集群采用了分组存储方式。storage集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和
一个组由一台或多台存储服务器组成，组内的Storage server之间是平等关系，
不同组的Storage server 之间不会相互通信
同组内的Storage server之间会相互连接进行文件同步，从而保证同组内每个storage上的文件完全一致的
一个组的存储容量为该组内的存储服务器容量最小的那个

采用分组存储方式的好处

灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组也可以由 tracker进行调度选择。
一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容)
当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。

Storage状态收集

Storage server会连接集群中所有的Tracker server，定时向他们报告自己的状态，
包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。

FastDFS安装与配置

FastDFS是 C 语言开发，建议在 linux 上运行
安装 FastDFS需要先将官网下载的源码进行编译，编译依赖 gcc 环境

1. 需要安装 gcc

yum install gcc-c++
在这里插入图片描述

2. 安装libevent

FastDFS依赖libevent库
yum -y install libevent
在这里插入图片描述

3.安装libfastcommon

libfastcommon 是 FastDFS 官方提供的，libfastcommon 包含了 FastDFS 运行所需要的一些基础库

将libfastcommonV1.0.7.tar.gz拷贝至/usr/local/下
解压libfastcommonV1.0.7.tar.gz
tar -zxvf libfastcommonV1.0.7.tar.gz
执行以下命令
cd libfastcommon-1.0.7
./make.sh

./make.sh install

libfastcommon安装好后会自动将库文件拷贝至/usr/lib64下
由于FastDFS程序引用usr/lib目录

所以需要将/usr/lib64下的库文件拷贝至/usr/lib下。
ll /usr/lib64/
在这里插入图片描述

4.安装libevent

上传 libevent到服务器中
执行以下命令
解压
tar -zxvf libevent-2.0.15-stable.tar.gz
进入 libevent目录
cd libevent-2.0.15-stable/
执行
第一步： ./configure
第二步：make && make install
第三步：ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5

5. tracker编译安装

将FastDFS_v5.05.tar.gz拷贝至/usr/local/下
解压：
tar -zxvf FastDFS_v5.05.tar.gz
进入FastDFS目录
cd FastDFS
执行以下命令
./make.sh
./make.sh install
安装成功将安装目录下的conf下的文件拷贝到/etc/fdfs/下
cp -ri conf/* /etc/fdfs
进入/etc/fdfs目录
cd /etc/fdfs
修改tracker.conf
vim tracker.conf

在这里插入图片描述

base_path=/home/fastdfs
http.server_port=80

创建目录
mkdir -p /home/fastdfs
启动
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
查看是否启动
ps aux|grep dfs

6.进入/etc/fdfs

执行修改配置文件
vim storage.conf

group_name=group1

base_path=/home/yuqing/FastDFS改为：base_path=/home/fastdfs

store_path0=/home/fastdfs/fdfs_storage

tracker_server=192.168.0.108:22122 #配置 tracker服务器:IP如果有多个则配置多个tracke

http.server_port=80

在这里插入图片描述
创建文件夹：
mkdir -p /home/fastdfs/fdfs_storage

启动
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

文件上传流程

流程图
在这里插入图片描述
文件信息

客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。
文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名

组名:
文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存。
虚拟磁盘路径:
storage配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。
数据两级目录：
storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件
文件名：
是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息

通过客户端上传图片

创建maven工程
安装fastdfs架包

mvn install:install-file -DgroupId=org.csource.fastdfs -DartifactId=fastdfs -Dversion=1.2 -Dpackaging=jar -Dfile=fastdfs_client_v1.20.jar

引入依赖

   <dependency>
            <groupId>org.csource.fastdfs</groupId>
            <artifactId>fastdfs</artifactId>
            <version>1.2</version>
        </dependency>

在resources当中创建fdfs_client.conf配置文件

# connect timeout in seconds
# default value is 30s
connect_timeout=30

# network timeout in seconds
# default value is 30s
network_timeout=60

# the base path to store log files
base_path=/home/fastdfs

# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.0.108:22122

#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# if load FastDFS parameters from tracker server
# since V4.05
# default value is false
load_fdfs_parameters_from_tracker=false

# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V4.05
use_storage_id = false

# specify storage ids filename, can use relative or absolute path
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# since V4.05
storage_ids_filename = storage_ids.conf


#HTTP settings
http.tracker_server_port=80

#use "#include" directive to include HTTP other settiongs
##include http.conf

创建测试, 上传图片

 public static void main(String[] args) throws Exception {
        //1. 加载配置文件
        ClientGlobal.init("src/main/resources/fdfs_client.conf");
        //2. 创建管理端对象
        TrackerClient trackerClient = new TrackerClient();
        //3. 通过管理端对象获取连接
        TrackerServer connection = trackerClient.getConnection();
        //4. 创建存储端对象
        StorageClient1 storageClient = new StorageClient1(connection, null);

        //创建文件属性信息对象数组
        NameValuePair[] meta_list = new NameValuePair[3];
        meta_list[0] = new NameValuePair("fileName","time");
        meta_list[1] = new NameValuePair("ExtName","jpg");
        meta_list[2] = new NameValuePair("zuozhe","joker");

        //5. 上传文件
        String path = storageClient.upload_file1("C:\\Users\\Joker_DJ\\Pictures\\timg.jpg", "jpg", meta_list);
        System.out.println("======" + path);
    }

启动测试
在这里插入图片描述
查看文件存放目录
cd /home/fastdfs/fdfs_storage/data/00/00

搭建图片服务虚拟主机

在Storage上安装nginx

在storage server上安装nginx的目的是对外通过http访问storage server 上的文件
使用 nginx 的模块 FastDFS-nginx-module 的作用是通过 http 方式访问 storage 中的文件

安装FastDFS-nginx

将 FastDFS-nginx-module_v1.16.tar.gz上到usr/local下
解压
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
进入src目录
cd fastdfs-nginx-module/src
修改config文件将/usr/local/路径改为/usr/
vim config
将FastDFS-nginx-module/src下的mod_FastDFS.conf拷贝至/etc/fdfs/下
cp mod_fastdfs.conf /etc/fdfs/
修改mod_fastdfs.conf
vim /etc/fdfs/mod_fastdfs.conf

base_path=/home/fastdfs

tracker_server=192.168.0.108:22122

url_have_group_name=true

store_path0=/home/fastdfs/fdfs_storage

esc后保存并退出 :wq

将libfdfsclient.so拷贝至/usr/lib下
cp /usr/lib64/libfdfsclient.so /usr/lib/
复制 FastDFS的部分配置文件到/etc/fdfs目录
cd /usr/local/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

nginx安装

将nginx-1.8.1.tar.gz拷贝到/usr/local下

解压nginx-1.8.1.tar.gz
tar -zxvf nginx-1.8.1.tar.gz
依赖包
sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel
进入nginx目录
cd nginx-1.8.1/
执行配置
./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/fastdfs-nginx-module/src
在 nginx-1.8.1目录下依次执行
make
make install
useradd -s /sbin/nologin -M nginx
id nginx
启动ngnix
nginx
停止nginx
nginx -s stop
重新加载配置
nginx -s reload
查看是否启动
ps -ef|grep nginx
修改配置文件
vim /opt/nginx/conf/nginx.conf

	# 监听域名中带有group的，交给FastDFS模块处理
	        location ~/group([0-9])/ {
	            ngx_fastdfs_module;
	        }

在这里插入图片描述
重新加载配置
nginx -s reload

查看是否生效
在主机通过ip地址访问nginx
http://192.168.0.108
在这里插入图片描述

启动

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
nginx

访问上传图片的地址

http://192.168.0.108/group1/M00/00/00/wKgAbF8pL5KAUR9AAABCFe5hWE4513.jpg
在这里插入图片描述

设置FastDFS开机自启

虚拟机每次启动之后都要重新启动FastDFS和nginx，比较麻烦所以增加开机自启

在centos7 /etc/rc.d/rc.local 文件的权限被降低了，所以给rc.local文件增加可执行的权限
执行命令：chmod +x /etc/rc.d/rc.local

编辑 /etc/rc.d/rc.local文件，增加启动项

编辑文件
vim /etc/rc.d/rc.local
增加文件如下
fastdfs start
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
nginx start
/usr/local/nginx/sbin/nginx

基于SSM+FastDFS+vue实现图片上传

编写上传按钮事件
注意开启SpringMVC的媒体解析器

 <!-- 配置多媒体解析器 -->
    <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver">
        <property name="defaultEncoding" value="UTF-8"></property>
        <!-- 设定文件上传的最大值5MB，5*1024*1024 -->
        <property name="maxUploadSize" value="5242880"></property>
    </bean>

引入pom文件从本地安装

  		<dependency>
            <groupId>org.csource.fastdfs</groupId>
            <artifactId>fastdfs</artifactId>
            <version>1.2</version>
        </dependency>

引入fastDFS配置文件和服务地址配置文件

application.properties

FILE_SERVER_URL=http://192.168.0.108/

新建fastDFS配置文件夹
在这里插入图片描述
fdfs_client.conf

# connect timeout in seconds
# default value is 30s
connect_timeout=30

# network timeout in seconds
# default value is 30s
network_timeout=60

# the base path to store log files
base_path=/home/fastdfs

# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.0.108:22122

#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# if load FastDFS parameters from tracker server
# since V4.05
# default value is false
load_fdfs_parameters_from_tracker=false

# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V4.05
use_storage_id = false

# specify storage ids filename, can use relative or absolute path
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# since V4.05
storage_ids_filename = storage_ids.conf


#HTTP settings
http.tracker_server_port=80

#use "#include" directive to include HTTP other settiongs
##include http.conf

在spring-mvc.xml加载属文件

<context:property-placeholder location="classpath:config/application.properties" />

编写工具类


import org.apache.commons.io.FilenameUtils;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;

import java.io.IOException;

public class FastDFSClient {

    private TrackerClient trackerClient = null;
    private TrackerServer trackerServer = null;
    private StorageServer storageServer = null;
    private StorageClient1 storageClient = null;

    public FastDFSClient(String conf) throws Exception {
        if (conf.contains("classpath:")) {
            conf = conf.replace("classpath:", this.getClass().getResource("/").getPath());
        }
        ClientGlobal.init(conf);
        trackerClient = new TrackerClient();
        trackerServer = trackerClient.getConnection();
        storageServer = null;
        storageClient = new StorageClient1(trackerServer, storageServer);
    }

    /**
     * @param file 文件二进制
     * @param fileName 文件名
     * @param fileSize 文件大小
     * @return
     * @throws Exception
     */
    public String uploadFile(byte[] file, String fileName, long fileSize) throws Exception {
        NameValuePair[] metas = new NameValuePair[3];
        metas[0] = new NameValuePair("fileName", fileName);
        metas[1] = new NameValuePair("fileSize", String.valueOf(fileSize));
        metas[2] = new NameValuePair("fileExt", FilenameUtils.getExtension(fileName));
        String result = storageClient.upload_file1(file, FilenameUtils.getExtension(fileName), metas);
        return result;
    }

    /**
     *
     * @param storagePath  文件的全部路径 如：group1/M00/00/00/wKgRsVjtwpSAXGwkAAAweEAzRjw471.jpg
     * @return -1失败,0成功
     * @throws Exception
     */
    public Integer delete_file(String storagePath){
        int result=-1;
        try {
            result = storageClient.delete_file1(storagePath);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return  result;
    }



}

在UploadController方法中上传图片

@RestController
@RequestMapping("/upload")
public class UploadController {

    @Value("${FILE_SERVER_URL}")
    private String FILE_SERVER;

    @RequestMapping("/uploadFile")
    public Result uploadFile(MultipartFile file) throws Exception {
        try {
            FastDFSClient fastDFS = new FastDFSClient("classpath:fastDFS/fdfs_client.conf");
            //上传文件返回文件保存的路径和文件名
            String path = fastDFS.uploadFile(file.getBytes(), file.getOriginalFilename(), file.getSize());
            /**
             保存数据库...
             */
            //拼接上服务器的地址返回给前端
            return new Result(true, FILE_SERVER + path);
        } catch (Exception e) {
            e.printStackTrace();
            return new Result(false, "上传失败!");
        }
    }
}

删除图片

    /*删除图片*/
    @RequestMapping("/delteImage")
    public Result delteImage(String url){
        try {
            String path  = url.substring(FILE_SERVER.length());
            FastDFSClient fastDFS =new FastDFSClient("classpath:fastDFS/fdfs_client.conf");
            Integer integer = fastDFS.delete_file(path);
            if (integer == 0){
                return new Result(true, "删除成功");
            }else {
                return new Result(false, "删除失败");
            }
        } catch (Exception e) {
            return new Result(false, "删除失败");
        }
    }

posted @ 2020-08-04 21:45 joker_dj 阅读(403) 评论(0) 编辑收藏举报

刷新页面返回顶部

joker_dj