分布式数据存储系统的三要素

顾客:生产和消费数据

顾客相当于分布式存储系统中的应用程序。根据数据的产生和使用,顾客分为生产者和消费者两种类型。生产者负责添加数据,消费者负责使用数据

根据数据的特征,不同的数据划分为三类:结构化数据,半结构化数据和非结构化数据

结构化数据:关系模型数据,特征是数据关联较大,格式固定,一般采用分布式关系数据库进行存储和查询

半结构化数据:非关系型,有基本固定结构模式的数据,数据之间的关系比较简单,一般采用分布式键值系统进行存储和使用

非结构化数据:没有固定模式的数据,数据之间关联不大,通过elasticsearch等进行检索

导购:确定数据位置

数据分片技术:分布式存储系统按照一定的规则将数据存储到对应的存储节点中,或者从对应的存储节点中获取想要的数据。该技术的优势,降低单个存储节点的存储和访问压力,可以通过规定好的规则快速查找到数据所在的存储节点,以降低搜索延迟。数据分片技术包括数据范围,哈希映射,一致性哈希等方式。数据范围方案,指的是按照某种规则划分数据范围,然后将这个范围内的数据归属到一个集合中。

货架:存储数据

针对三种不同的数据类型,存储货架大致分为以下三种:

分布式数据库:通过表格存储结构化数据,方便查找

分布式键值系统:通过键值对来存储半结构化数据

分布式存储系统:通过文件、块、对象等来存储非结构化数据

posted on 2020-02-17 11:00  BattleScars  阅读(1084)  评论(0编辑  收藏  举报