分布式数据存储系统的三要素
顾客:生产和消费数据
顾客相当于分布式存储系统中的应用程序。根据数据的产生和使用,顾客分为生产者和消费者两种类型。生产者负责添加数据,消费者负责使用数据
根据数据的特征,不同的数据划分为三类:结构化数据,半结构化数据和非结构化数据
结构化数据:关系模型数据,特征是数据关联较大,格式固定,一般采用分布式关系数据库进行存储和查询
半结构化数据:非关系型,有基本固定结构模式的数据,数据之间的关系比较简单,一般采用分布式键值系统进行存储和使用
非结构化数据:没有固定模式的数据,数据之间关联不大,通过elasticsearch等进行检索
导购:确定数据位置
数据分片技术:分布式存储系统按照一定的规则将数据存储到对应的存储节点中,或者从对应的存储节点中获取想要的数据。该技术的优势,降低单个存储节点的存储和访问压力,可以通过规定好的规则快速查找到数据所在的存储节点,以降低搜索延迟。数据分片技术包括数据范围,哈希映射,一致性哈希等方式。数据范围方案,指的是按照某种规则划分数据范围,然后将这个范围内的数据归属到一个集合中。
货架:存储数据
针对三种不同的数据类型,存储货架大致分为以下三种:
分布式数据库:通过表格存储结构化数据,方便查找
分布式键值系统:通过键值对来存储半结构化数据
分布式存储系统:通过文件、块、对象等来存储非结构化数据
菜鸟程序员,博客只做记录,可能问题很多,有问题,还望不吝指出!转载请附上原文地址,谢谢!