基于Mongodb的file server
基于Mongodb的file server
最近在抱怨公司的file server，现有的file server通过服务器提供接口，将文件保存到服务器硬盘，按照ID分文件。通过定期备份到其它服务器，运行了这么久出现过一次事故，硬盘被同事格式化导致丢失了一部分数据。因此考虑如果重新设计file server我会怎么做，于是考虑使用Mongodb来设计，进行分布式同步。
使用Mongodb好处：
1.备份，维护简单
2.可以使用Mongodb的分布式同步数据，就算一台服务器挂了，fileserver也不会挂
3.速度会比较快（我猜）
file server 结构：
1. 使用webservice提供添加，删除，获取文件的接口，mongodb只保存文件内容
2. 将文件保存到Mongodb数据库
3. 存储文件由三个Mongodb数据库服务器组成，一个为Arbiter服务器，另外两个互为主从服务器
Mongodb服务器环境搭建：
1.下载最新版的mongodb for windows程序 http://www.mongodb.org/downloads
2.解压缩文件，重名名文件夹为mongodb，在mongodb文件夹下新建data，log文件夹，并复制两份为d:\mongodb2,d:\mongodb3
3.配置mongodb 1
在cmd命令定位到mongodb/bin文件夹，敲入下面命令启动mongodb：
D:\mongodb\bin>mongod --rest --replSet myset --port 20720 --dbpath d:\mongodb\data --logpath d:\mongodb\log
--replSet myset 指定mongodb运行为replication模式，集合名为myset
--rest 用于启动adminstration ui，可以通过http://localhost:28017/_replSet查看服务器状态
--dbpath 指定数据库文件路径
--logpath 指定日志文件路径
4.配置Mongodb 2
配置方法同mongodb 1，只是端口改为20721
D:\mongodb2\bin>mongod --rest --replSet myset --port 20721 --dbpath d:\mongodb2\data --logpath d:\mongodb\log
5.配置Mongodb 3
配置命令如下：
D:\mongodb2\bin>mongod --rest --replSet myset --oplogSize 8 --port 20722 --dbpath d:\mongodb3\data
具体解析查看http://www.mongodb.org/download/attachments/9830402/mongodb+replica+sets+intro.pdf
现在三台mongodb服务器都启动了，哦也，现在需要告诉Mongodb 1他的同伴Mongodb 2，具体命令如下：
D:\mongodb\bin>mongo --host ChrisCheung_PC//这里是我的计算机名，也可以是127.0.0.1
首先执行
>rs.initiate()
>rs.add("ChrisCheung_PC:20721") //如果不知道计算机名可以用rs.conf()看到
{ "ok" : 1 }
这样就讲20721端口的mongodb添加到myset中，执行rs.conf()可查看相应信息。
接下来还要把Mongdb 3添加到组中，同意是在mongodb 1执行：
>rs.add( {_id:2, host:"ChrisCheung-PC:20722",arbiterOnly:true})
{ "ok" : 1 }
如果host打错会报下列错误：
"assertion" : "need most members up to reconfigure, not ok : ChrisCheung
-PC:20721",
"assertionCode" : 13144,
"errmsg" : "db assertion failure",
"ok" : 0
}
到目前位置我们已经有三台正常运行mongodb服务器，并配置为Replica Sets同步模式。
程序实现，下面是我写的一个简单类
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using MongoDB.Driver;
using MongoDB.Driver.Builders;
using MongoDB.Bson;
namespace FileUtility
{
public class DocHelper
{
private string connStr = "";
public string ConnStr
{
get
{
if (string.IsNullOrEmpty(connStr))
{
throw new ArgumentNullException("Connection string did not specify!");
}
return connStr;
}
}
public DocHelper()
{
connStr = System.Configuration.ConfigurationManager.AppSettings["FileDb"];
}
public DocHelper(string connectionString)
{
this.connStr = connectionString;
}
/// <summary>
/// save document conent
/// </summary>
/// <param name="content">file content</param>
/// <returns>file id in mongodb database</returns>
public string AddDoc(byte[] content)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
Doc doc = new Doc() { ID = Guid.NewGuid().ToString(), data = content };
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles",SafeMode.True);
docs.Insert(doc);
return doc.ID.ToString();
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
/// <summary>
/// delete doc from the mongodb server
/// </summary>
public void DeleteDoc(string docID)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles", SafeMode.True);
var queryDoc = Query.EQ("_id", docID);
docs.Remove(queryDoc);
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
/// <summary>
/// get the doc content from mongodb
/// </summary>
/// <param name="docID">doc id in mongodb</param>
/// <returns>document content</returns>
public Doc GetDoc(string docID)
{
MongoServer server = MongoServer.Create(this.ConnStr);
try
{
server.Connect();
MongoDatabase db = server.GetDatabase("ecDocs");
MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles", SafeMode.True);
Doc doc = docs.FindOneById(docID);
return doc;
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (server != null)
server.Disconnect();
}
}
}
}
实体类：
using System;
using System.Collections.Generic;
using System.Text;
using MongoDB.Bson.DefaultSerializer;
using MongoDB.Bson;
namespace FileUtility
{
public class Doc
{
[BsonId]
public string ID { get; set; }
public byte[] data { get; set; }
}
}
测试代码：
代码
byte[] bytes = File.ReadAllBytes("E:\\photo\\20110101-ski\\DSCN1621.JPG");
string id = helper.AddDoc(bytes);
FileUtility.Doc doc = helper.GetDoc(id);
File.WriteAllBytes("d:\\image.jpg", doc.data);
插入一张图片后，到http://localhost:28017/_replSet optime列的链接查看数据库的日志，可以看出两台服务器都插入了同样的记录，如下图：
好啦，一个简单的file server 就酱搭建起来了。简单插入一些数据，感觉mongodb暂用蛮大的硬盘空间，大家对file server有什么好的建议呢？欢迎拍砖，谢谢。
参考文章：
http://www.cnblogs.com/daizhj/archive/2010/09/08/1821481.html
http://www.cnblogs.com/daizhj/archive/2010/09/07/1820528.html
