随笔分类 -  MooseFS

摘要:随着数据量越来越大,MFS的使用中也出现过一些问题,这里做了一些分析和总结,下面和大家分享一下:先提一下MFS出问题时出现比较频繁的两个信息:连接中断坏块问题连接中断问题在Master端会出现如下错误:mfsmaster[15861]: connection with client(ip:10.11.18.175) has been closed by peer表示客户端和master的连接中断mfsmaster[15861]: connection with ML(10.11.19.76) has been closed by peer表示Metalogger和Master的连接中断mfsm 阅读全文
posted @ 2012-05-09 20:00 残夜 阅读(5308) 评论(0) 推荐(0) 编辑
摘要:今天,报告说moosefs群的写性能就从10MB/sec 降到了3MB/sec。(读性能10MB/sec不变)查之。把MFSMASTER.CFG中默认的:CHUNKS_WRITE_REP_LIMIT = 1CHUNKS_READ_REP_LIMIT = 5改成:CHUNKS_WRITE_REP_LIMIT = 0CHUNKS_READ_REP_LIMIT = 0写入速度恢复到10MB/sec。继而改为:CHUNKS_WRITE_REP_LIMIT = 10CHUNKS_READ_REP_LIMIT = 50写入速度降到300KB/sec。这几个参数是调整moosefs往新机器均衡chunk的力 阅读全文
posted @ 2012-05-08 18:00 残夜 阅读(2170) 评论(0) 推荐(1) 编辑
摘要:公司使用moosefs做图片存储,最近学习了一下,在此小小总结一下,主要分以下几部分:MFS概述、特性和新版改进MFS 工作原理和设计架构MFS的安装、部署、配置MFS的高级特性MFS的性能测试MFS集群的维护MFS的常见问题和建议对策一、MFS概述、特性和新版改进MooseFS是一个分布式存储的框架,其具有如下特性:Free(GPL)通用文件系统,不需要修改上层应用就可以使用(那些需要专门api的dfs很麻烦!)。可以在线扩容,体系架构可伸缩性极强。(官方的case可以扩到70台了!)部署简单。(sa们特别高兴,领导们特别happy!)高可用,可设置任意的文件冗余程度(提供比raid1+0更 阅读全文
posted @ 2012-05-04 16:11 残夜 阅读(13175) 评论(3) 推荐(6) 编辑