FastDFS分布式文件服务器安装,及配置,测试
博客已经搬家,请访问如下地址:http://www.czhphp.com
一、FastDFS简介:
FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只 能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
二、FastDFS安装
1
2
3
4
5
6
|
wget http: //fastdfs .googlecode.com /files/FastDFS_v3 .06. tar .gz tar -zxvf FastDFS_v3.03. tar .gz cd FastDFS vim make .sh 将 #WITH_HTTPD=1 修改成WITH_HTTPD=1 以支持 http . /make .sh && . /make .sh install |
三、FastDFS配置
1、配置及启动Tracker Server
mkdir /home/fastdfs
vi /etc/fdfs/tracker.conf
base_path=/home/yuqing/fastdfs 修改为:base_path=/home/fastdfs
##include http.conf 修改为:#include http.conf
/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
检查tracker是否启动成功,可以查看如下文件/home/fastdfs/logs/trackerd.log
2、配置及启动Storage Server
mkdir /home/fastdfs/fdfs_storage
cd /etc/fdfs
vim storage.conf
或者 vim /etc/fdfs/storage.conf
base_path=/home/yuqing/fastdfs 修改为: /home/fastdfs/fdfs_storage
store_path0=/home/yuqing/fastdfs 修改为: store_path0=/home/fastdfs/fdfs_storage
tracker_server=192.168.209.121:22122 修改为 tracker_server=10.201.20.237:22122
##include http.conf 修改为:#include http.conf
/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
接下来会出现很多mkdir data path,这是系统在创建数据目录。
3.配置PHP扩展
1
2
3
4
5
6
7
8
9
10
11
12
13
|
cd php_client phpize . /configure--with-php-config = /usr/local/php/bin/php-config make && make install cat fastdfs_client.ini >> /usr/local/php/etc/php .ini /usr/local/apache2/bin/apachectl restart cp fastdfs_test.php /home/wwwroot/ |
http://10.201.20.237/fastdfs_test.php
vim /usr/local/php/etc/php.ini 可以看到fastdfs_clicet.so已经加载到php.ini中
查看phpinfo()
四、测试以及使用FastDFS
1、FastDFS之配置client
vim /etc/fdfs/client.conf
base_path=/home/yuqing/fastdfs 修改为: base_path=/home/fastdfs
tracker_server=192.168.209.121:22122 修改为: tracker_server=10.201.20.237:22122
##include http.conf 修改为: #include http.conf
2、测试上传文件
用法:Usage: fdfs_test <config_file> upload <local_filename> [FILE | BUFF | CALLBACK]
测试:
cd /home/wwwroot/
fdfs_test /etc/fdfs/client.conf upload FlexPaper.zip
http://10.201.20.237:8080/group1/M00/00/00/CskU7U-c9hio4fAeACCD1c0mEbg924_big.zip
启动tracker服务:
/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
启动storager服务:
/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
监控:
/usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf
PHP与FastDFS简单示例:
FastDFS.php
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
<?php class FDFS{ public function __construct(){ $this ->tracker = fastdfs_tracker_get_connection(); $this ->server = fastdfs_connect_server( $this ->tracker[ 'ip_addr' ], $this ->tracker[ 'port' ]); $this ->storage = fastdfs_tracker_query_storage_store(); $this ->server = fastdfs_connect_server( $this ->storage[ 'ip_addr' ], $this ->storage[ 'port' ]); if (! $this ->server){ error_log ( "errno1: " . fastdfs_get_last_error_no() . ", error info: " . fastdfs_get_last_error_info()); exit (1); } $this ->storage[ 'sock' ] = $this ->server[ 'sock' ]; } public function fdfs_upload( $input_name ){ $file_tmp = $_FILES [ $input_name ][ 'tmp_name' ]; $real_name = $_FILES [ $input_name ][ 'name' ]; $file_name = dirname( $file_tmp ). "/" . $real_name ; //@copy($file_tmp, $file_name); @rename( $file_tmp , $file_name ); $file_info = fastdfs_storage_upload_by_filename( $file_name , null, array (), null, $this ->tracker, $this ->storage); //print_r($file_info);die; if ( $file_info ){ $group_name = $file_info [ 'group_name' ]; $remote_filename = $file_info [ 'filename' ]; $i = fastdfs_get_file_info( $group_name , $remote_filename ); $storage_ip = $i [ 'source_ip_addr' ]; //var_dump($file_info); return array ( $remote_filename , $group_name , $storage_ip , $real_name ); } return false; } public function fdfs_down( $group_name , $file_id ){ $file_content = fastdfs_storage_download_file_to_buff( $group_name , $file_id ); return $file_content ; } public function fdfs_del( $group_name , $file_id ){ fastdfs_storage_delete_file( $group_name , $file_id ); } } ?> |
index.php
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
<?php ini_set ( 'display_errors' , 'On' ); error_reporting (E_ALL); define( 'S_ROOT' ,dirname( __FILE__ ). '/' ); define( 'DOWNLOAD_URL' , 'http://192.168.1.110:8080' ); require_once (S_ROOT. 'FastDFS.php' ); $conn = mysql_connect( 'localhost' , 'root' , '123456' ); $link = mysql_select_db( 'fastdfs' , $conn ); if (! empty ( $_FILES [ 'upload1' ])){ $fdfs_obj = new FDFS(); $res = $fdfs_obj ->fdfs_upload( "upload1" ); $sql = "INSERT INTO `fdfs` (`file_id`, `group_id`, `storage_ip`, `real_name`) VALUES ('" . $res [0]. "', '" . $res [1]. "', '" . $res [2]. "', '" . $res [3]. "')" ; echo $sql . '<hr>' ; $result = mysql_query( $sql );var_dump( $result ); } else { $sql = 'SELECT * FROM `fdfs`' ; $query = mysql_query( $sql ); while ( $row = mysql_fetch_assoc( $query )) { $data [] = $row ; } if (! empty ( $data )) { foreach ( $data as $v ) { echo '<a href="' .DOWNLOAD_URL. '/' . $v [ 'group_id' ]. '/' . $v [ 'file_id' ]. '">' . $v [ 'real_name' ]. '</a><br/>' ; } } } ?> <html> <body> <form action= "" method= "post" enctype= "multipart/form-data" > <input type= "text" name= "myText" /><br /> <input type= "file" name= "upload1" /><br /> <input type= "submit" /> </form> </body> </html> |
sql:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
-- -- 数据库: `fastdfs` -- -- -------------------------------------------------------- -- -- 表的结构 `fdfs` -- CREATE TABLE IF NOT EXISTS `fdfs` ( `id` bigint (20) NOT NULL AUTO_INCREMENT COMMENT 'id' , `file_id` varchar (200) NOT NULL DEFAULT '' COMMENT '文件ID' , `group_id` varchar (50) NOT NULL DEFAULT '' COMMENT '组名' , `real_name` varchar (200) NOT NULL COMMENT '真名' , `storage_ip` varchar (16) NOT NULL COMMENT 'ip' , PRIMARY KEY (`id`), KEY `i_file_id` (`file_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 AUTO_INCREMENT=4 ; |
也可以重新封装下fastdfs_client 方法
wget http://fastdfs.googlecode.com/files/fastdfs_client_php_v1.6.tar.gz
tar zxvf fastdfs_client_php_v1.6.tar.gz
cd fastdfs_client_php_v1.6.tar.gz
vim FastdfsClient.php
<?php require_once 'fdfs_common.php'; require_once 'fdfs_tracker_client.php'; require_once 'fdfs_storage_client1.php'; class FastdfsClient { private $_tracker_server = null; public function __construct() { $this->_getTracker(); } public function __destruct() { fdfs_quit($this->_tracker_server); tracker_close_all_connections(); } public function getInstance() { static $instance; if (!isset($instance)) { $class = __CLASS__; $instance = new $class(); } return $instance; } /** * Upload file by filename to Fastdfs * * @param $local_filename local file name to upload * @param $meta_list metadata assoc array (key value pair array) * @param $group_name you can specify the group to upload file to * * @return fileid compose of $group_name and $remote_name, false for error */ public function saveFile($local_filename, $file_ext_name = '', $meta_list = array(), $group_name = '') { $this->_getTracker(); $storage_server = null; $file_id = null; $result = storage_upload_by_filename1($this->_tracker_server, $storage_server, $local_filename, $meta_list, $file_id, $group_name, $file_ext_name); if ($result == 0) { $file_id = str_replace("M00/",IMAGESHOWURL,$file_id); return $file_id; } else { throw new Exception('fdfs_upload_by_filename_failed', $result); return false; } } /** * Upload file by buff to the Fastdfs * * @param $file_buff the file content to upload * @param $file_ext_name the file ext name (not including dot) * @param $meta_list metadata assoc array (key value pair array) * @param $group_name you can specify the group to upload file to * * @return fileid composed of $group_name and $remote_name, false for error */ public function saveFilebuff($file_buff, $file_ext_name, $meta_list = array(), $group_name = '') { $storage_server = null; $file_id = null; $file_size = strlen($file_buff); $result = storage_upload_by_filebuff1($this->_tracker_server, $storage_server, $file_buff, $file_size, $file_ext_name, $meta_list, $file_id, $group_name); if ($result == 0) { return $file_id; } else { throw new Exception('fdfs_upload_by_filebuff_failed', $result); return false; } } /** * Copy file from Fastdfs to local * * @param $file_id * @param $local_filename * @return bool */ public function copyFile($file_id, $local_filename) { $storage_server = null; $file_size = null; $result = storage_download_file_to_file1($this->_tracker_server, $storage_server, $file_id, $local_filename, $file_size); if ($result == 0) { return true; } else { throw new Exception('fdfs_copy_file_failed', $result); return false; } } /** * Get file content from Fastdfs * * @param $file_id * @return file content */ public function getFilebuff($file_id) { $storage_server = null; $file_size = null; $file_buff = null; $result = storage_download_file_to_buff1($this->_tracker_server, $storage_server,$file_id, $file_buff, $file_size); if ($result == 0) { return $file_buff; } else { throw new Exception('fdfs_load_file_to_buff_failed', $result); return false; } } /** * Delete file by fileid from the Fastdfs * * @param $file_id * @return bool */ public function deleteFile($file_id) { if (empty($file_id)) return false; if (is_array($file_id)) { foreach ($file_id as $fid) { $this->deleteFile($fid); } return true; } $storage_server = null; $result = storage_delete_file1($this->_tracker_server, $storage_server, $file_id); if ($result == 0) { return true; } else { return false; } } /** * Get a tracker server */ private function _getTracker() { $this->_tracker_server = null; $this->_tracker_server = tracker_get_connection(); if ($this->_tracker_server == false) { throw new Exception('fdfs_get_tracker_server_failed'); return false; } }
} ?>
FastDFS架构介绍:
FastDFS是一款为互联网应用量身定做的类Google FS的开源应用级的分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统,其架构和设计理念有其独到之处,主要体现在轻量级、分组方式和对等结构三个方面:
轻量级:
- FastDFS只有两个角色:Tracker server和Storage server。Tracker server作为中心结点,其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息,不记录文件索引信息,占用的内存量很少。另外,客户端(应用)和Storage server访问Tracker server时,Tracker server扫描内存中的分组和Storage server信息,然后给出应答。由此可以看出Tracker server非常轻量化,不会成为系统瓶颈。
- FastDFS不对文件进行分块存储,客户端上传文件时,文件ID不是由客户端指定,而是由Storage server生成后返回给客户端的。文件ID中包含了组名、文件相对路径和文件名,Storage server可以根据文件ID直接定位到文件。因此FastDFS集群中根本不需要存储文件索引信息,这是FastDFS比较轻量级的一个例证。
- FastDFS轻量级的另外一个体现是代码量较小。最新的V2.0包括了C客户端API、FastDHT客户端API和PHP extension等,代码行数不到5.2万行。
分组方式:
- FastDFS采用了分组存储方式。集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成,
同组内的 多台Storage
server之间是互备关系,同组存储服务器上的文件是完全一致的。文件上传、下载、删除等操作可以在组内任意一台Storage
server上进行。类似木桶短板效应,一个组的存储容量为该组内存储服务器容量最小的那个,由此可见组内存储服务器的软硬件配置最好是一致的。
- 采用分组存储方式的好处是灵活、可控性较强。比如上传文件时,可以由客户端直接指定上传到的组。一个分组的存储服务器访问压力较大时,可以在该组
增加存储
服务器来扩充服务能力(纵向扩容)。当系统容量不足时,可以增加组来扩充存储容量(横向扩容)。采用这样的分组存储方式,可以使用FastDFS对文件进
行管理,使用主流的Web server如Apache、nginx等进行文件下载。
对等结构
- FastDFS集群中的Tracker server也可以有多台,Tracker server和Storage
server均不存在单点问题。Tracker server之间是对等关系,组内的Storage
server之间也是对等关系。FastDFS的架构:
- 从图可以看出,Tracker server之间相互独立,不存在直接联系。
客户端和Storage server主动连接Tracker server。Storage server主动向Tracker server报 告其状态信息,包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。Storage server会连接集群中所有的 Tracker server,向他们报告自己的状态。Storage server启动一个单独的线程来完成对一台Tracker server的连接 和定时报告。需要说明的是,一个组包含的Storage server不是通过配置文件设定的,而是通过Tracker server获取到的。
不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步。
Storage server采用binlog文件记录文件上传、删除等更新操作。binlog中只记录文件名,不记录文件内容。
文件同步只在同组内的Storage server之间进行,采用push方式,即源头服务器同步给目标服务器。只有源头数据才需要同步,备份数据 并不需要再次同步,否则就构成环路了。有个例外,就是新增加一台Storage server时,由已有的一台Storage server将已有的所有 数据(包括源头数据和备份数据)同步给该新增服务器。
Storage server中由专门的线程根据binlog进行文件同步。为了最大程度地避免相互影响以及出于系统简洁性考虑,Storage server对组内除自己以外的每台服务器都会启动一个线程来进行文件同步。
文件同步采用增量同步方式,系统记录已同步的位置(binlog文件偏移量)到标识文件中。标识文件名格式:{dest storage IP}_{port}.mark,例如:192.168.1.14_23000.mark。
文件上传和下载的交互过程
接下来我们一起看一下文件上传和下载的交互过程。文件上传和下载流程分别如图2、图3所示。文件上传流程的步骤如下:
1. Client询问Tracker server上传到的Storage server;
2. Tracker server返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口;
3. Client直接和该Storage server建立连接,进行文件上传,Storage server返回新生成的文件ID,文件上传结束。
文件下载流程的步骤如下:
1. Client询问Tracker server可以下载指定文件的Storage server,参数为文件ID(包含组名和文件名);
2. Tracker server返回一台可用的Storage server;
3. Client直接和该Storage server建立连接,完成文件下载。
文件同步延迟问题的提出
客户端将一个文件上传到一台Storage server后,文件上传工作就结束了。由该Storage server根据binlog中的上传记 录将这个文件同步到同组的其他Storage server。这样的文件同步方式是异步方式,异步方式带来了文件同步延迟的问题。新上传文件后,在尚未被 同步过去的Storage server上访问该文件,会出现找不到文件的现象。FastDFS是如何解决文件同步延迟这个问题的呢?
文件的访问分为两种情况:文件更新和文件下载。文件更新包括设置文件附加属性和删除文件。文件的附加属性包括文件大小、图片宽度、图片高度等。 FastDFS中,文件更新操作都会优先选择源Storage server,也就是该文件被上传到的那台Storage server。这样的做法不仅 避免了文件同步延迟的问题,而且有效地避免了在多台Storage server上更新同一文件可能引起的时序错乱的问题。
那么文件下载是如何解决文件同步延迟这个问题的呢?
要回答这个问题,需要先了解文件名中包含了什么样的信息。Storage server生成的文件名中,包含了源Storage server的 IP地址和文件创建时间等字段。文件创建时间为UNIX时间戳,后面称为文件时间戳。从文件名或文件ID中,可以反解出这两个字段。
然后我们再来看一下,Tracker server是如何准确地知道一个文件已被同步到一台Storage server上的。前面已经讲过,文件 同步采用主动推送的方式。另外,每台storage server都会定时向tracker server报告它向同组的其他 storage server同步到的文件时间戳。当tracker server收到一台storage server的文件同步报告后,它会依次找出 该组内各个storage server(后称作为S)被同步到的文件时间戳最小值,作为S的一个属性记录到内存中。
FastDFS对文件同步延迟问题的解决方案
下面我们来看一下FastDFS采取的解决方法。
一个最简单的解决办法,和文件更新一样,优先选择源Storage server下载文件即可。这可以在Tracker server的配置文件中设置,对应的参数名为download_server。
另外一种选择Storage server的方法是轮流选择(round-robin)。当Client询问Tracker server有哪些 Storage server可以下载指定文件时,Tracker server返回满足如下四个条件之一的Storage server:
- 该文件上传到的源Storage server,文件直接上传到该服务器上的;
- 文件创建时间戳 < Storage server被同步到的文件时间戳,这意味着当前文件已经被同步过来了;
- 文件创建时间戳=Storage server被同步到的文件时间戳,且(当前时间—文件创建时间戳) > 一个文件同步完成需要的最大时间(如5分钟);
- (当前时间—文件创建时间戳) > 文件同步延迟阈值,比如我们把阈值设置为1天,表示文件同步在一天内肯定可以完成。
FastDFS作者余庆,现在淘宝网Java中间件团队从事Java基础平台研发工作,有10年互联网开发和架构经历,曾担任新浪网开发工程师、雅 虎中国架构师。开源分布式文件系统FastDFS和分布式哈希系统FastDHT的作者,对分布式数据存储架构有比较深入的研究。