开源分布式DFS调研

Posted on 2021-02-23 19:27  李子树  阅读(108)  评论(0编辑  收藏  举报

名称

优点

缺点

应用场景

备注

GlusterFS

1)系统支持POSIX(可移植操作系统),支持FUSE挂载通过多种协议访问,通用性比较高

2)支持在线扩容机制,增强系统的可扩展性

3)实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力

4)强大的命令行管理,降低学习、部署成本

5)支持整个集群镜像拷贝,方便根据业务压力,增加集群节点

6)官方资料文档专业化,该文件系统由Red Hat企业级做维护,版本质量有保障

1)通用性越强,其跨越的层次就越多,影响其IO处理效率

2)频繁读写下,会产生垃圾文件,占用磁盘空间

1)多集群部署的应用

2)中大型文件根据目前官方提供的材料,现有的使用GlusterFS系统存储容量可轻松达到PB

http://www.gluster.org/

CephFS

1)支持对象存储(OSD)集群,通过CRUSH算法,完成文件动态定位, 处理效率更高

2)支持通过FUSE方式挂载,降低客户端的开发成本,通用性高

3)支持分布式的MDS/MON,无单点故障

4)强大的容错处理和自愈能力5)支持在线扩容和冗余备份,增强系统的可靠性

1)目前处于试验阶段,系统稳定性有待考究

2)扩容,因为数据分布均衡,导致存储性能降低

3)部署运维复杂,集群管理工具少

1)全网分布式部署的应用

2)对实时性、可靠性要求比较高官方宣传,存储容量可轻松达到PB级别

http://ceph.com/

HDFS

1)高容错

2)适合批处理

3)适合大数据处理,GB,TB,PB

4)流失文件访问

1)不适合低延迟数据访问

2)不适合小文件存取

3)不适合并发写入

 

 

MooseFS

1)部署安装非常简单,管理方便

2)支持在线扩容机制,增强系统的可扩展性

3)实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力

4)数据恢复比较容易,增强系统的可用性5)有回收站功能,方便业务定制

1)存在单点性能瓶颈及单点故障

2)MFS Master节点很消耗内存

3)对于小于64KB的文件,存储利用率较低

1)单集群部署的应用

2)中、大型文件

http://www.moosefs.org/

FastDFS

1)系统无需支持POSIX(可移植操作系统),降低了系统的复杂度,处理效率更高

2)支持在线扩容机制,增强系统的可扩展性

3)实现了软RAID,增强系统的并发处理能力及数据容错恢复能力

4)支持主从文件,支持自定义扩展名

5)主备Tracker服务,增强系统的可用性

1)不支持POSIX通用接口访问,通用性较低

2)对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略

3)同步机制不支持文件正确性校验,降低了系统的可用性

4)通过API下载,存在单点的性能瓶颈

1)单集群部署的应用

2)存储后基本不做改动

3)小中型文件根据

源码https://github.com/happyfish100/fastdfs

TFS

1)针对小文件量身定做,随机IO性能比较高;

2)支持在线扩容机制,增强系统的可扩展性;

3)实现了软RAID,增强系统的并发处理能力及数据容错恢复能力;

4)支持主备热倒换,提升系统的可用性;

5)支持主从集群部署,其中从集群主要提供读/备功能;

1)TFS只对小文件做优化,不适合大文件的存储;

2)不支持POSIX通用接口访问,通用性较低;

3)不支持自定义目录结构,及文件权限控制;

4)通过API下载,存在单点的性能瓶颈;

5)官方文档非常少,学习成本高;

1)多集群部署的应用

2)存储后基本不做改动

3)海量小型文件

源码http://code.taobao.org/p/tfs/src/

 

 

Minio

1)数据保护

2)安装运维简单,学习成本低

3)分布式下,数据一致性优

4)支持扩展集群

5)多语言客户端支持

1)不支持动态扩展节点

1)个人/中小企业组建云存储(对象存储)

http://www.cloudbin.cn/?p=2917