FastDFS + Nginx

普通的存储方式，图片存储过于分散

• 图片存储过于分散
• 图片多的服务器压力比较大，可能影响其他功能
• 存储到项目路径中，重启会丢失。存储到外部文件中，IO操作性能低

搭建图片服务器#

分布式文件系统概述#

通用分布式文件系统#

专用分布式文件系统#

Google FS 体系结构#

FastDFS简介#

架构图#

#

角色#

架构解读#

FastDFS安装#

安装C依赖

yum install -y make cmake gcc gcc-c++

安装C的一个库，我这边直接GitHub下载

cd /usr/local/tmp
git clone https://github.com/happyfish100/libfastcommon.git

编译并安装

cd libfastcommon-master
./make.sh
./make.sh install

默认的固定安装位置

• /usr/lib64
• /usr/lib
• /usr/include/fastcommon

创建软链接

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/local/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so

上传并解压FastDFS主程序

git clone https://github.com/happyfish100/fastdfs.git

编译并安装

cd fastdfs
./make.sh
./make.sh install

• /usr/bin 可执行文件所在的位置
• /etc/fdfs 配置文件所在的位置
• /usr/bin 主程序代码所在位置
• /usr/include/fastdfs 包含一些插件所在的位置

配置tracker#

复制配置文件

cd /etc/fdfs
cp tracker.conf.sample tracker.conf

创建数据目录

创建防止tracker数据的目录

mkdir -p /usr/local/fastdfs/tracker

修改配置文件，修改tracker.conf设置tracker内容存储目录

base_path=/usr/local/fastdfs/tracker
vim tracker.conf

默认端口 22122 不需要修改

启动服务

service fdfs_trackerd start

启动成功后，配置文件base_path指向的目录出现FastDFS服务相关数据目录（data目录，logs目录）

查看服务运行状态#

service fdfs_trackerd status

如果显示 is running 表示正常运行

关闭防火墙#

service iptables stop
chkconfig iptables off

配置Storage#

storage可以和tracker不在同一台服务器中，示例中把storage和tracker安装在同一台服务器

复制配置文件#

进入到/etc/fdfs，把storage配置文件复制一份

cd /etc/fdfs
cp storage.conf.sample storage.conf

创建目录#

把base用于存储基础数据和日志，store用于存储上传数据

mkdir -p /usr/local/fastdfs/storage/base
mkdir -p /usr/local/fastdfs/storage/store

修改配置文件#

storage.conf配置文件用于描述存储服务的行为，需要进行下述修改

vim /etc/fdsf/storage.conf

配置内容如下

base_path=/usr/local/fastdfs/storage/base
store_path0=/usr/local/fastdfs/storage/store
tracker_server=tracker 服务IP:22122

• base_path，基础路径
• store_path0，
• base_path和store_path可以使用同一目录
• tracker_server 跟踪服务器位置，就是跟踪服务器的IP和端口

启动服务#

service fdfs_storaged start

启动成功后，配置文件base_path指向的目录中出现FastDFS服务相关数据目录（data目录，logs目录库）

配置文件中的store_path0指向的目录同样出现了FastDFS存储相关数据目录（data目录）

其中$store_path0/data 目录中默认创建若干子孙目录（两层一共256*256），用于存储具体文件数据

Storage服务器启动比较慢，第一次启动的时候，需要创建256*256个目录

查看启动状态#

service fdfs_storaged status

文件上传流程#

时序图

流程说明#

• 客户端访问Tracker
• Tracker返回Storage的ip和端口
• 客户端直接访问Storage，把文件内容和元数据发送过去
• Storage返回文件存储id，包含了组名和文件名

Fastdfs-java-client#

添加依赖，官方地址：https://mvnrepository.com/artifact/cn.bestwu/fastdfs-client-java

<!-- https://mvnrepository.com/artifact/cn.bestwu/fastdfs-client-java -->
<dependency>
    <groupId>cn.bestwu</groupId>
    <artifactId>fastdfs-client-java</artifactId>
    <version>1.27</version>
</dependency>

编写配置文件#

fdfs_client.conf，修改成自己的tracker服务器ip

connect_timeout = 10
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 8080
tracker_server = 192.168.93.10:22122

导入工具类#

在com.utils.FastDFSClient下粘贴配置工具类

/**
 * FastDFS分布式文件系统操作客户端.
 */
public class FastDFSClient {

    private static final String CONF_FILENAME = Thread.currentThread().getContextClassLoader().getResource("").getPath() + "fdfs_client.conf";

    private static StorageClient storageClient = null;

    /**
     * 只加载一次.
     */
    static {
        try {
            ClientGlobal.init(CONF_FILENAME);
            TrackerClient trackerClient = new TrackerClient(ClientGlobal.g_tracker_group);
            TrackerServer trackerServer = trackerClient.getConnection();
            StorageServer storageServer = trackerClient.getStoreStorage(trackerServer);
            storageClient = new StorageClient(trackerServer, storageServer);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     *
     * @param inputStream
     *    上传的文件输入流
     * @param fileName
     *    上传的文件原始名
     * @return
     */
    public static String[] uploadFile(InputStream inputStream, String fileName) {
        try {
            // 文件的元数据
            NameValuePair[] meta_list = new NameValuePair[2];
            // 第一组元数据，文件的原始名称
            meta_list[0] = new NameValuePair("file name", fileName);
            // 第二组元数据
            meta_list[1] = new NameValuePair("file length", inputStream.available()+"");
            // 准备字节数组
            byte[] file_buff = null;
            if (inputStream != null) {
                // 查看文件的长度
                int len = inputStream.available();
                // 创建对应长度的字节数组
                file_buff = new byte[len];
                // 将输入流中的字节内容，读到字节数组中。
                inputStream.read(file_buff);
            }
            // 上传文件。参数含义：要上传的文件的内容（使用字节数组传递），上传的文件的类型（扩展名），元数据
            String[] fileids = storageClient.upload_file(file_buff, getFileExt(fileName), meta_list);
            return fileids;
        } catch (Exception ex) {
            ex.printStackTrace();
            return null;
        }
    }

    /**
     *
     * @param file
     *            文件
     * @param fileName
     *            文件名
     * @return 返回Null则为失败
     */
    public static String[] uploadFile(File file, String fileName) {
        FileInputStream fis = null;
        try {
            NameValuePair[] meta_list = null; // new NameValuePair[0];
            fis = new FileInputStream(file);
            byte[] file_buff = null;
            if (fis != null) {
                int len = fis.available();
                file_buff = new byte[len];
                fis.read(file_buff);
            }

            String[] fileids = storageClient.upload_file(file_buff, getFileExt(fileName), meta_list);
            return fileids;
        } catch (Exception ex) {
            return null;
        }finally{
            if (fis != null){
                try {
                    fis.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    /**
     * 根据组名和远程文件名来删除一个文件
     *
     * @param groupName
     *            例如 "group1" 如果不指定该值，默认为group1
     * @param remoteFileName
     *            例如"M00/00/00/wKgxgk5HbLvfP86RAAAAChd9X1Y736.jpg"
     * @return 0为成功，非0为失败，具体为错误代码
     */
    public static int deleteFile(String groupName, String remoteFileName) {
        try {
            int result = storageClient.delete_file(groupName == null ? "group1" : groupName, remoteFileName);
            return result;
        } catch (Exception ex) {
            return 0;
        }
    }

    /**
     * 修改一个已经存在的文件
     *
     * @param oldGroupName
     *            旧的组名
     * @param oldFileName
     *            旧的文件名
     * @param file
     *            新文件
     * @param fileName
     *            新文件名
     * @return 返回空则为失败
     */
    public static String[] modifyFile(String oldGroupName, String oldFileName, File file, String fileName) {
        String[] fileids = null;
        try {
            // 先上传
            fileids = uploadFile(file, fileName);
            if (fileids == null) {
                return null;
            }
            // 再删除
            int delResult = deleteFile(oldGroupName, oldFileName);
            if (delResult != 0) {
                return null;
            }
        } catch (Exception ex) {
            return null;
        }
        return fileids;
    }

    /**
     * 文件下载
     *
     * @param groupName 卷名
     * @param remoteFileName 文件名
     * @return 返回一个流
     */
    public static InputStream downloadFile(String groupName, String remoteFileName) {
        try {
            byte[] bytes = storageClient.download_file(groupName, remoteFileName);
            InputStream inputStream = new ByteArrayInputStream(bytes);
            return inputStream;
        } catch (Exception ex) {
            return null;
        }
    }

    public static NameValuePair[] getMetaDate(String groupName, String remoteFileName){
        try{
            NameValuePair[] nvp = storageClient.get_metadata(groupName, remoteFileName);
            return nvp;
        }catch(Exception ex){
            ex.printStackTrace();
            return null;
        }
    }

    /**
     * 获取文件后缀名（不带点）.
     *
     * @return 如："jpg" or "".
     */
    private static String getFileExt(String fileName) {
        if (StringUtils.isBlank(fileName) || !fileName.contains(".")) {
            return "";
        } else {
            return fileName.substring(fileName.lastIndexOf(".") + 1); // 不带最后的点
        }
    }
}

Nginx#

 

 

 代理方式#

正向代理#

 

 

反向代理#

 

 

二者区别#

 

 

Nginx作用#

HTTP协议代理#

 

 

搭建虚拟主机#

负载均衡#

 

 

Nginx安装#

下载fastdfs-nginx-module到/usr/local/tmp中

cd /usr/local/tmp
git clone https://github.com/happyfish100/fastdfs-nginx-module

修改配置文件#

cd fastdfs-nginx-module/src
vim config

修改第四行路径，参数用于配置安装nginx中的FastDFS组件的时候，在什么位置查找FastDFS核心代码

git clone https://github.com/nginx/nginx.git

安装ngin依赖#

yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel

创建临时目录#

mkdir -p /var/temp/nginx

修改配置文件参数#

./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/usr/local/tmp/fastdfs-nginx-module/src

修改权限为777#

chmod 777 nginx -R

编译和安装#

cd nginx
make
make install

配置fastdfs-nginx-module模块配置文件#

复制 fastdfs-nginx-module/src/mod_fastdfs.conf 配置文件到/etc/fdfs目录中

cp /usr/local/tmp/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

修改 mod_fastdfs.conf#

cd /etc/fdfs
vim mod_fastdfs.conf

文件内容修改#

connect_timeout=10
tracker_server=192.168.93.10:22122 // 自己的ip和port
url_have_group_name=true
store_path0=/usr/local/fastdfs/storage/store // 自己的目录

提供FastDFS需要的HTTP配置文件#

cp /usr/local/tmp/FastDFS/conf/http.conf /etc/fdfs/
cp /usr/local/tmp/FastDFS/conf/mime.types /etc/fdfs/

创建网络访问存储服务的软链接#

ln -s /usr/local/fastdfs/storage/store/data/ /usr/local/fastdfs/storage/store/data/M00

进入nginx安装目录，修改配置文件#

cd/ usr/local/nginx/conf
vim nginx.conf

修改两处#

用户

user root;

单个group的配置#

location /M00 {
      ngx_fastdfs_module;
}

多个group的配置#

在server_name下面修改

location ~/group([0-9]/M00){
    ngx_fastdfs_module;
}

启动nginx#

进入目录，然后

cd /usr/local/nginx/sbin
./nginx

关闭nginx#

./nginx -s quit