摘要：
所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为 框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已 可窥见其几分风韵，但终究还是由于缺少一些实现的代码和示例，色彩有些斑驳，缺少了点感性。幸好我们还有Open Source，还有Hadoop。Hadoop是 一个基于Java实现的，开源的，分布式存储和计算的项目。作为这个领域最富盛名的开源项目之一，它的使用者也是大牌如云，包括了 Yahoo，Amazon，Facebook等等（好吧，还可能有校内 阅读全文
摘要：
二. 分布式计算（Map/Reduce）分布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按GoogleMap/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分布式计算上，我们可以将其视为增加了分布式支持的计算函数。从计算的角度上看，Map/Reduce框架接受各种格式的键值对文件作为输入，读取计算后，最终生成自定义格式的输出文件。而从分布式的角度上看，分布式计算的输入文件往往规模巨大，且分布在多个机器上，单机计算完全不可支撑且效率低下，因此Map/Redu 阅读全文
摘要：
分布式文件系统MFS(moosefs)实现存储共享(第二版)作者:田逸(sery@163.com)由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群部署（即lvs+keepalived的方式），但仍然有用户反馈访问 慢的问题。通过排查个服务器的情况，发现问题的根源在于共享存储服务器NFS。在我这个网络环境里，N个服务器通过nfs方式共享一个服务器的存储空间， 使得NFS服务器不堪重负。察看系统日志，全是nfs服务超时之类的报错。一般情况下，当nfs客户端数目较小的时候，NFS性能不会出现问题；一旦 NFS服务器数目过多，并且是那种读写都比较频繁的操作，所得到的结果就不是我们所 阅读全文
摘要：
9. 实际操作案例9.1 默认的垃圾回收时间是86400，存在一种可能性是垃圾还没回收完，你的存储容量就暴掉了。（案例提供者shinelian）方案1：设置垃圾回收时间，积极监控存储容量。 经过测试，把垃圾回收时间设置300秒，完全可以正确回收容量。方案2：手动周期性去删除metamfs里的trash目录下的文件（健壮性还有待测试，反正删除后容量是回收了，不晓得有没有什么后遗症。） 经过测试，貌似没后遗症，有后遗症的同学请在qq群里面联系我。9.2 mfs 1.6.x的User Guides和FAQ，并和灵犀沟通对文档中不理解的地方，就理解不一致的地方达成一致。MFS1.6.x比1.... 阅读全文
摘要：
web gui 监控 gui_info.jpg(143.72 KB, 下载次数: 83)gui_most.jpg(209.36 KB, 下载次数: 82)gui_master_info.jpg(212.79 KB, 下载次数: 79)gui_server.jpg(223.96 KB, 下载次数: 82) 阅读全文
摘要：
1. 我在性能测试中间遇到些问题，因为我时间有限，所以希望大家一起来测试解决，群策群力。有什么问题请大家及时指出来，因为我也处在一个不断摸索的阶段。2. mfs不多做介绍，具体细节请参考本版mfs实践文章http://bbs.chinaunix.net/thread-1643863-1-1.html ，或者baidu,google 关键字田逸。3. 希望大家能提供更好的存储/文件系统的测试模型，来一起完善本文档。（热烈欢迎大家奉献测试脚本，测试用例等）。4. 希望大家提供生产环境的实际案例，配置环境，脚本，监控机制等等。5. 希望熟悉代码的朋友去看看mfs内部实现的机制。6. 特别感谢田逸的文 阅读全文
摘要：
续16. 参考文献：6.1 文献http://sery.blog.51cto.com/10037/263515田逸http://bbs.chinaunix.net/thread-1643863-1-1.htmlltgzs777http://www.moosefs.org/官网http://bbs.chinaunix.net/thread-1643015-1-2.html 测试工具6.1测试数据性能测试模型1一个不知道名字的哥们的测试结果，我先贴出来，那哥们看到了密我.小文件性能测试二级100*100文件夹创建列表删除单片15k.5ext3client单进程real0m0.762suser0m0 阅读全文
摘要：
对于mfs文件系统也用了半年了，确实不错，最近又翻译了作者的三篇文章，再此一同发上，希望对大家有所帮助。不足之处还请指出，以便完善，谢谢！感谢网友nonamexz做了精美的pdf文档 MFS文件系统使用手册.pdf (453.19 KB, 下载次数: 3946)。MFS文件系统官方的网络示意图是这样的： MFS文件系统结构: 包含4种角色: 管理服务器managing server (master) 元数据日志服务器Metalogger server（Metalogger） 数据存储服务器dat... 阅读全文
摘要：
mfs文件系统（二）编译和安装 MooseFS部署的首选方法是从源代码安装 源代码包安装支持标准./configure && make && make install的步骤，重要的配置选项有：--disable-mfsmaster –不创建成管理服务器（用于纯节点的安装）--disable-mfschunkserver –不创建成数据存储chunkserver服务器--disable-mfsmount –不创建mfsmount和mfstools（如果用开发包安装，他们会被默认创建的）--enable-mfsmount –确定安装mfsmount和mfstools 阅读全文
摘要：
mfs文件系统（四）MooseFS维护 一、启动MooseFS集群最安全的启动MooseFS集群（避免任何读或写的错误数据或类似的问题）的方式是按照以下命令步骤：1.启动mfsmaster进程2.启动所有的mfschunkserver进程3.启动mfsmetalogger进程（如果配置了mfsmetalogger）当所有的chunkservers连接到MooseFS master后，任何数目的客户端可以利用mfsmount去挂接被export的文件系统。（可以通过检查master的日志或是CGI监视器来查看是否所有的chunkserver被连接）。 二、停止MooseFS集群安全的停止Moos 阅读全文
摘要：
mfs文件系统（三）使用MooseFS一、挂载文件系统启动管理服务器（master server）和数据服务器(chunkservers) (chunkservers一个是必需的,但至少两个推荐) 后，客户机便可以利用mfsmount挂接mfs文件系统。 MooseFS文件系统利用下面的命令：mfsmount mountpoint [-d] [-f] [-s] [-m] [-n] [-p] [-H MASTER] [-P PORT] [-S PATH] [-o OPT[,OPT...]]-H MASTER：是管理服务器（master server）的ip地址-P PORT： 是管理服务器（m. 阅读全文