FastDFS分布式文件服务器安装，及配置，测试

博客已经搬家，请访问如下地址：http://www.czhphp.com

 一、FastDFS简介：

FastDFS是一款类Google FS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只 能通过 专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

二、FastDFS安装

 
1
2
3
4
5
6
wget http://fastdfs.googlecode.com/files/FastDFS_v3.06.tar.gz
 
tar -zxvf FastDFS_v3.03.tar.gz
cd FastDFS
vim make.sh 将#WITH_HTTPD=1 修改成WITH_HTTPD=1 以支持 http
./make.sh && ./make.sh install

三、FastDFS配置

1、配置及启动Tracker Server

mkdir /home/fastdfs
vi /etc/fdfs/tracker.conf
base_path=/home/yuqing/fastdfs  修改为：base_path=/home/fastdfs
##include http.conf  修改为：#include http.conf
/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
检查tracker是否启动成功，可以查看如下文件/home/fastdfs/logs/trackerd.log

 

2、配置及启动Storage Server

mkdir /home/fastdfs/fdfs_storage
cd /etc/fdfs
vim storage.conf
或者 vim /etc/fdfs/storage.conf

base_path=/home/yuqing/fastdfs 修改为： /home/fastdfs/fdfs_storage
store_path0=/home/yuqing/fastdfs 修改为： store_path0=/home/fastdfs/fdfs_storage
tracker_server=192.168.209.121:22122 修改为 tracker_server=10.201.20.237:22122
##include http.conf  修改为：#include http.conf

 

/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

接下来会出现很多mkdir data path，这是系统在创建数据目录。

3.配置PHP扩展

 
1
2
3
4
5
6
7
8
9
10
11
12
13
cd php_client
 
phpize
 
./configure--with-php-config=/usr/local/php/bin/php-config
 
make && make install
 
cat fastdfs_client.ini >> /usr/local/php/etc/php.ini
 
/usr/local/apache2/bin/apachectl restart
 
cp fastdfs_test.php /home/wwwroot/

http://10.201.20.237/fastdfs_test.php

 

vim /usr/local/php/etc/php.ini 可以看到fastdfs_clicet.so已经加载到php.ini中

查看phpinfo()

 

四、测试以及使用FastDFS

1、FastDFS之配置client
vim /etc/fdfs/client.conf
base_path=/home/yuqing/fastdfs 修改为： base_path=/home/fastdfs
tracker_server=192.168.209.121:22122 修改为： tracker_server=10.201.20.237:22122
##include http.conf  修改为： #include http.conf

 

2、测试上传文件

用法：Usage: fdfs_test <config_file> upload <local_filename> [FILE | BUFF | CALLBACK]

测试：

cd /home/wwwroot/
fdfs_test /etc/fdfs/client.conf  upload  FlexPaper.zip

http://10.201.20.237:8080/group1/M00/00/00/CskU7U-c9hio4fAeACCD1c0mEbg924_big.zip

启动tracker服务：

/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
启动storager服务：

/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf

监控：

/usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf

 

PHP与FastDFS简单示例：

FastDFS.php

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
<?php
 
class FDFS{
 
    public  function __construct(){
        $this->tracker = fastdfs_tracker_get_connection();
        $this->server = fastdfs_connect_server($this->tracker['ip_addr'], $this->tracker['port']);
        $this->storage = fastdfs_tracker_query_storage_store();
 
        $this->server = fastdfs_connect_server($this->storage['ip_addr'], $this->storage['port']);
        if (!$this->server){
            error_log("errno1: " . fastdfs_get_last_error_no() . ", error info: " . fastdfs_get_last_error_info());
            exit(1);
        }
 
        $this->storage['sock'] = $this->server['sock'];
 
    }
 
    public  function fdfs_upload($input_name){
        $file_tmp = $_FILES[$input_name]['tmp_name'];
        $real_name = $_FILES[$input_name]['name'];
        $file_name = dirname($file_tmp)."/".$real_name;
        //@copy($file_tmp, $file_name);
        @rename($file_tmp, $file_name);
 
        $file_info = fastdfs_storage_upload_by_filename($file_name, null, array(), null, $this->tracker, $this->storage);
        //print_r($file_info);die;
        if($file_info){
            $group_name = $file_info['group_name'];
            $remote_filename = $file_info['filename'];
 
            $i = fastdfs_get_file_info($group_name, $remote_filename);
            $storage_ip = $i['source_ip_addr'];
            //var_dump($file_info);
            return array($remote_filename, $group_name, $storage_ip, $real_name);
        }
        return false;
    }
 
    public function fdfs_down($group_name, $file_id){
        $file_content = fastdfs_storage_download_file_to_buff($group_name, $file_id);
        return $file_content;
    }
 
    public  function fdfs_del($group_name, $file_id){
        fastdfs_storage_delete_file($group_name, $file_id);
    }
}
 
?>

index.php

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
<?php
ini_set('display_errors','On');
error_reporting(E_ALL);
define('S_ROOT',dirname(__FILE__).'/');
define('DOWNLOAD_URL','http://192.168.1.110:8080');
require_once(S_ROOT.'FastDFS.php');
$conn = mysql_connect('localhost','root','123456');
$link = mysql_select_db('fastdfs',$conn);
 
if(!empty($_FILES['upload1'])){
    $fdfs_obj = new FDFS();
    $res = $fdfs_obj->fdfs_upload("upload1");
    $sql = "INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`, `real_name`) VALUES ('".$res[0]."', '".$res[1]."', '".$res[2]."', '".$res[3]."')";
    echo $sql.'<hr>';
    $result = mysql_query($sql);var_dump($result);
 
}else{
 
    $sql = 'SELECT * FROM `fdfs`';
    $query = mysql_query($sql);
    while($row = mysql_fetch_assoc($query))
    {
        $data[] = $row;
    }
    if(!empty($data))
    {
        foreach($data as $v)
        {
             echo '<a href="'.DOWNLOAD_URL.'/'.$v['group_id'].'/'.$v['file_id'].'">'.$v['real_name'].'</a><br/>';
 
        }
    }
 
}
 
?>
 
<html>
<body>
<form action="" method="post" enctype="multipart/form-data">
<input type="text" name="myText" /><br />
<input type="file" name="upload1" /><br />
<input type="submit" />
</form>
</body>
</html>

 

sql:

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
--
-- 数据库: `fastdfs`
--
 
-- --------------------------------------------------------
 
--
-- 表的结构 `fdfs`
--
 
CREATE TABLE IF NOT EXISTS `fdfs` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `file_id` varchar(200) NOT NULL DEFAULT '' COMMENT '文件ID',
  `group_id` varchar(50) NOT NULL DEFAULT '' COMMENT '组名',
  `real_name` varchar(200) NOT NULL COMMENT '真名',
  `storage_ip` varchar(16) NOT NULL COMMENT 'ip',
  PRIMARY KEY (`id`),
  KEY `i_file_id` (`file_id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=4 ;

也可以重新封装下fastdfs_client 方法

wget http://fastdfs.googlecode.com/files/fastdfs_client_php_v1.6.tar.gz

tar zxvf fastdfs_client_php_v1.6.tar.gz

cd fastdfs_client_php_v1.6.tar.gz

vim FastdfsClient.php

 

<?php

require_once 'fdfs_common.php';
require_once 'fdfs_tracker_client.php';
require_once 'fdfs_storage_client1.php';

class FastdfsClient {
private $_tracker_server = null;

public function __construct() {
　　$this->_getTracker();
}

public function __destruct() {
　　fdfs_quit($this->_tracker_server);
　　tracker_close_all_connections();
}

public function getInstance() {
　　static $instance;
　　if (!isset($instance)) {
　　　　$class = __CLASS__;
　　　　$instance = new $class();
　　}
　　return $instance;
}

/**
* Upload file by filename to Fastdfs
*
* @param $local_filename local file name to upload
* @param $meta_list metadata assoc array (key value pair array)
* @param $group_name you can specify the group to upload file to
*
* @return fileid compose of $group_name and $remote_name, false for error
*/
public function saveFile($local_filename, $file_ext_name = '', $meta_list = array(), $group_name = '') {
　　$this->_getTracker();
　　$storage_server = null;
　　$file_id = null;

　　$result = storage_upload_by_filename1($this->_tracker_server, $storage_server,
　　$local_filename, $meta_list, $file_id, $group_name, $file_ext_name);

　　if ($result == 0) {
　　　　$file_id = str_replace("M00/",IMAGESHOWURL,$file_id);
　　　　return $file_id;
　　} else {
　　　　throw new Exception('fdfs_upload_by_filename_failed', $result);
　　　　return false;
　　}
}

/**
* Upload file by buff to the Fastdfs
*
* @param $file_buff the file content to upload
* @param $file_ext_name the file ext name (not including dot)
* @param $meta_list metadata assoc array (key value pair array)
* @param $group_name you can specify the group to upload file to
*
* @return fileid composed of $group_name and $remote_name, false for error
*/
public function saveFilebuff($file_buff, $file_ext_name, $meta_list = array(), $group_name = '') {
　　$storage_server = null;
　　$file_id = null;

　　$file_size = strlen($file_buff);
　　$result = storage_upload_by_filebuff1($this->_tracker_server, $storage_server,
　　$file_buff, $file_size, $file_ext_name, $meta_list, $file_id, $group_name);
　　if ($result == 0) {
　　　　return $file_id;
　　} else {
　　　　throw new Exception('fdfs_upload_by_filebuff_failed', $result);
　　　　return false;
　　}
}

/**
* Copy file from Fastdfs to local
*
* @param $file_id
* @param $local_filename
* @return bool
*/
public function copyFile($file_id, $local_filename) {
　　$storage_server = null;
　　$file_size = null;

　　$result = storage_download_file_to_file1($this->_tracker_server, $storage_server,
　　$file_id, $local_filename, $file_size);

　　if ($result == 0) {
　　　　return true;
　　} else {
　　　　throw new Exception('fdfs_copy_file_failed', $result);
　　　　return false;
　　}
}

/**
* Get file content from Fastdfs
*
* @param $file_id
* @return file content
*/
public function getFilebuff($file_id) {
　　$storage_server = null;
　　$file_size = null;
　　$file_buff = null;

　　$result = storage_download_file_to_buff1($this->_tracker_server, $storage_server,$file_id, $file_buff, $file_size);
　　if ($result == 0) {
　　　　return $file_buff;
　　} else {
　　　　throw new Exception('fdfs_load_file_to_buff_failed', $result);
　　　　return false;
　　}
}

/**
* Delete file by fileid from the Fastdfs
*
* @param $file_id
* @return bool
*/
public function deleteFile($file_id) {
　　if (empty($file_id)) return false;
　　if (is_array($file_id)) {
　　　　foreach ($file_id as $fid) {
　　　　　　$this->deleteFile($fid);
　　　　}
　　　　return true;
　　}

　　$storage_server = null;
　　$result = storage_delete_file1($this->_tracker_server, $storage_server, $file_id);

　　if ($result == 0) {
　　　　return true;
　　} else {
　　　　return false;
　　}
}

/**
* Get a tracker server
*/
private function _getTracker() {
　　$this->_tracker_server = null;
　　$this->_tracker_server = tracker_get_connection();
　　if ($this->_tracker_server == false) {
　　　　throw new Exception('fdfs_get_tracker_server_failed');
　　　　return false;
　　}
}
}

?>

 

 

FastDFS架构介绍：

FastDFS是一款为互联网应用量身定做的类Google FS的开源应用级的分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统，其架构和设计理念有其独到之处，主要体现在轻量级、分组方式和对等结构三个方面：
轻量级：

  1. FastDFS只有两个角色：Tracker server和Storage server。Tracker server作为中心结点，其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息，不记录文件索引信息，占用的内存量很少。另外，客户端（应用）和Storage server访问Tracker server时，Tracker server扫描内存中的分组和Storage server信息，然后给出应答。由此可以看出Tracker server非常轻量化，不会成为系统瓶颈。
  2. FastDFS不对文件进行分块存储，客户端上传文件时，文件ID不是由客户端指定，而是由Storage server生成后返回给客户端的。文件ID中包含了组名、文件相对路径和文件名，Storage server可以根据文件ID直接定位到文件。因此FastDFS集群中根本不需要存储文件索引信息，这是FastDFS比较轻量级的一个例证。
  3. FastDFS轻量级的另外一个体现是代码量较小。最新的V2.0包括了C客户端API、FastDHT客户端API和PHP extension等，代码行数不到5.2万行。

分组方式：

      FastDFS采用了分组存储方式。集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成， 同组内的 多台Storage server之间是互备关系，同组存储服务器上的文件是完全一致的。文件上传、下载、删除等操作可以在组内任意一台Storage server上进行。类似木桶短板效应，一个组的存储容量为该组内存储服务器容量最小的那个，由此可见组内存储服务器的软硬件配置最好是一致的。

 

    采用分组存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组。一个分组的存储服务器访问压力较大时，可以在该组 增加存储 服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。采用这样的分组存储方式，可以使用FastDFS对文件进 行管理，使用主流的Web server如Apache、nginx等进行文件下载。

对等结构

  • FastDFS集群中的Tracker server也可以有多台，Tracker server和Storage server均不存在单点问题。Tracker server之间是对等关系，组内的Storage server之间也是对等关系。FastDFS的架构:
  • 从图可以看出，Tracker server之间相互独立，不存在直接联系。

客户端和Storage server主动连接Tracker server。Storage server主动向Tracker server报 告其状态信息，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。Storage server会连接集群中所有的 Tracker server，向他们报告自己的状态。Storage server启动一个单独的线程来完成对一台Tracker server的连接 和定时报告。需要说明的是，一个组包含的Storage server不是通过配置文件设定的，而是通过Tracker server获取到的。

不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步。

Storage server采用binlog文件记录文件上传、删除等更新操作。binlog中只记录文件名，不记录文件内容。

文件同步只在同组内的Storage server之间进行，采用push方式，即源头服务器同步给目标服务器。只有源头数据才需要同步，备份数据 并不需要再次同步，否则就构成环路了。有个例外，就是新增加一台Storage server时，由已有的一台Storage server将已有的所有 数据（包括源头数据和备份数据）同步给该新增服务器。

Storage server中由专门的线程根据binlog进行文件同步。为了最大程度地避免相互影响以及出于系统简洁性考虑，Storage server对组内除自己以外的每台服务器都会启动一个线程来进行文件同步。

文件同步采用增量同步方式，系统记录已同步的位置（binlog文件偏移量）到标识文件中。标识文件名格式：{dest storage IP}_{port}.mark，例如：192.168.1.14_23000.mark。

文件上传和下载的交互过程

接下来我们一起看一下文件上传和下载的交互过程。文件上传和下载流程分别如图2、图3所示。文件上传流程的步骤如下：

图2 文件上传流程

图3 文件下载流程

1. Client询问Tracker server上传到的Storage server；

2. Tracker server返回一台可用的Storage server，返回的数据为该Storage server的IP地址和端口；

3. Client直接和该Storage server建立连接，进行文件上传，Storage server返回新生成的文件ID，文件上传结束。

文件下载流程的步骤如下：

1. Client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；

2. Tracker server返回一台可用的Storage server；

3. Client直接和该Storage server建立连接，完成文件下载。

文件同步延迟问题的提出

客户端将一个文件上传到一台Storage server后，文件上传工作就结束了。由该Storage server根据binlog中的上传记 录将这个文件同步到同组的其他Storage server。这样的文件同步方式是异步方式，异步方式带来了文件同步延迟的问题。新上传文件后，在尚未被 同步过去的Storage server上访问该文件，会出现找不到文件的现象。FastDFS是如何解决文件同步延迟这个问题的呢？

文件的访问分为两种情况：文件更新和文件下载。文件更新包括设置文件附加属性和删除文件。文件的附加属性包括文件大小、图片宽度、图片高度等。 FastDFS中，文件更新操作都会优先选择源Storage server，也就是该文件被上传到的那台Storage server。这样的做法不仅 避免了文件同步延迟的问题，而且有效地避免了在多台Storage server上更新同一文件可能引起的时序错乱的问题。

那么文件下载是如何解决文件同步延迟这个问题的呢？

要回答这个问题，需要先了解文件名中包含了什么样的信息。Storage server生成的文件名中，包含了源Storage server的 IP地址和文件创建时间等字段。文件创建时间为UNIX时间戳，后面称为文件时间戳。从文件名或文件ID中，可以反解出这两个字段。

然后我们再来看一下，Tracker server是如何准确地知道一个文件已被同步到一台Storage server上的。前面已经讲过，文件 同步采用主动推送的方式。另外，每台storage server都会定时向tracker server报告它向同组的其他 storage server同步到的文件时间戳。当tracker server收到一台storage server的文件同步报告后，它会依次找出 该组内各个storage server（后称作为S）被同步到的文件时间戳最小值，作为S的一个属性记录到内存中。

FastDFS对文件同步延迟问题的解决方案

下面我们来看一下FastDFS采取的解决方法。

一个最简单的解决办法，和文件更新一样，优先选择源Storage server下载文件即可。这可以在Tracker server的配置文件中设置，对应的参数名为download_server。

另外一种选择Storage server的方法是轮流选择（round-robin）。当Client询问Tracker server有哪些 Storage server可以下载指定文件时，Tracker server返回满足如下四个条件之一的Storage server：

  • 该文件上传到的源Storage server，文件直接上传到该服务器上的；
  • 文件创建时间戳 < Storage server被同步到的文件时间戳，这意味着当前文件已经被同步过来了；
  • 文件创建时间戳=Storage server被同步到的文件时间戳，且（当前时间—文件创建时间戳） > 一个文件同步完成需要的最大时间（如5分钟）；
  • （当前时间—文件创建时间戳） > 文件同步延迟阈值，比如我们把阈值设置为1天，表示文件同步在一天内肯定可以完成。

FastDFS作者余庆，现在淘宝网Java中间件团队从事Java基础平台研发工作，有10年互联网开发和架构经历，曾担任新浪网开发工程师、雅 虎中国架构师。开源分布式文件系统FastDFS和分布式哈希系统FastDHT的作者，对分布式数据存储架构有比较深入的研究。

博客已经搬家，请访问如下地址：http://www.czhphp.com

posted @ 2012-06-21 16:45  曹振华  阅读(2784)  评论(0)  编辑  收藏  举报