名称 |
优点 |
缺点 |
应用场景 |
备注 |
GlusterFS |
1)系统支持POSIX(可移植操作系统),支持FUSE挂载通过多种协议访问,通用性比较高 2)支持在线扩容机制,增强系统的可扩展性 3)实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力 4)强大的命令行管理,降低学习、部署成本 5)支持整个集群镜像拷贝,方便根据业务压力,增加集群节点 6)官方资料文档专业化,该文件系统由Red Hat企业级做维护,版本质量有保障 |
1)通用性越强,其跨越的层次就越多,影响其IO处理效率 2)频繁读写下,会产生垃圾文件,占用磁盘空间 |
1)多集群部署的应用 2)中大型文件根据目前官方提供的材料,现有的使用GlusterFS系统存储容量可轻松达到PB |
http://www.gluster.org/ |
CephFS |
1)支持对象存储(OSD)集群,通过CRUSH算法,完成文件动态定位, 处理效率更高 2)支持通过FUSE方式挂载,降低客户端的开发成本,通用性高 3)支持分布式的MDS/MON,无单点故障 4)强大的容错处理和自愈能力5)支持在线扩容和冗余备份,增强系统的可靠性 |
1)目前处于试验阶段,系统稳定性有待考究 2)扩容,因为数据分布均衡,导致存储性能降低 3)部署运维复杂,集群管理工具少 |
1)全网分布式部署的应用 2)对实时性、可靠性要求比较高官方宣传,存储容量可轻松达到PB级别 |
http://ceph.com/ |
HDFS |
1)高容错 2)适合批处理 3)适合大数据处理,GB,TB,PB 4)流失文件访问 |
1)不适合低延迟数据访问 2)不适合小文件存取 3)不适合并发写入 |
|
|
MooseFS |
1)部署安装非常简单,管理方便 2)支持在线扩容机制,增强系统的可扩展性 3)实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力 4)数据恢复比较容易,增强系统的可用性5)有回收站功能,方便业务定制 |
1)存在单点性能瓶颈及单点故障 2)MFS Master节点很消耗内存 3)对于小于64KB的文件,存储利用率较低 |
1)单集群部署的应用 2)中、大型文件 |
http://www.moosefs.org/ |
FastDFS |
1)系统无需支持POSIX(可移植操作系统),降低了系统的复杂度,处理效率更高 2)支持在线扩容机制,增强系统的可扩展性 3)实现了软RAID,增强系统的并发处理能力及数据容错恢复能力 4)支持主从文件,支持自定义扩展名 5)主备Tracker服务,增强系统的可用性 |
1)不支持POSIX通用接口访问,通用性较低 2)对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略 3)同步机制不支持文件正确性校验,降低了系统的可用性 4)通过API下载,存在单点的性能瓶颈 |
1)单集群部署的应用 2)存储后基本不做改动 3)小中型文件根据 |
源码https://github.com/happyfish100/fastdfs |
TFS |
1)针对小文件量身定做,随机IO性能比较高; 2)支持在线扩容机制,增强系统的可扩展性; 3)实现了软RAID,增强系统的并发处理能力及数据容错恢复能力; 4)支持主备热倒换,提升系统的可用性; 5)支持主从集群部署,其中从集群主要提供读/备功能; |
1)TFS只对小文件做优化,不适合大文件的存储; 2)不支持POSIX通用接口访问,通用性较低; 3)不支持自定义目录结构,及文件权限控制; 4)通过API下载,存在单点的性能瓶颈; 5)官方文档非常少,学习成本高; |
1)多集群部署的应用 2)存储后基本不做改动 3)海量小型文件 |
源码http://code.taobao.org/p/tfs/src/
|
Minio |
1)数据保护 2)安装运维简单,学习成本低 3)分布式下,数据一致性优 4)支持扩展集群 5)多语言客户端支持 |
1)不支持动态扩展节点 |
1)个人/中小企业组建云存储(对象存储) |