《分布式技术原理与算法解析》学习笔记Day21

分布式数据存储三要素

什么是分布式数据存储系统？

分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器中获取。

分布式存储系统的三要素：

• 数据生产者 / 数据消费者
• 数据索引
• 数据存储

数据生产者生产数据，将数据存储到分布式数据存储系统中，数据消费者是从分布式数据存储系统中获取数据进行消费；数据索引将访问数据的请求转发到数据所在的存储节点；存储设备用来存储数据。

分布式系统数据类型

分布式系统中存在大量不同类型的数据，根据数据的特征，我们可以将其分为三类：

• 结构化数据，指关系模型数据，特征是数据关联较大、格式固定，一般采用分布式关系数据库进行存储和查询。
• 半结构化数据，指非关系模型数据，有基本固定结构模式的数据，特征是数据之间关系比较简单，一般采用分布式键值系统进行存储和使用。
• 非结构化数据，指没有固定模式的数据，特征是数据之间关联不大，这种数据一般存储到文档中，通过ElasticSearch等进行检索。

数据分片与数据复制

数据分片技术，是指分布式存储系统按照一定的规则，将数据存储到相应的存储节点中，或者到相应的存储节点中获取想要的数据。这种技术一方面可以降低单个存储节点的存储和访问压力，另一方面可以通过规定好的规则快速找到数据所在的存储节点，从而大大降低搜索延迟，提高用户体验。

数据分片可以采取不同的方式，包括：

• 数据特征分片
• 数据范围分片
• 哈希分片
• 一致性哈希分片

数据复制是指将数据进行备份，使得多个节点存储该数据。它可以通过主备方式存储的方式，提高分布式系统的可用性和可靠性。

在实际的分布式存储系统中，数据分片和数据复制通常是共存的：

• 数据通过分片方式存储到不同的节点上，以减少单节点的性能瓶颈问题。
• 数据的存储通过主备方式保证可靠性，即对每个节点上存储的分片数据，采用主备方式存储，来保证数据可靠性，其中主备节点上数据一致，是通过数据复制技术实现的。

数据存储

根据上述三种不同的数据类型，常采用的数据存储选型方案如下：

• 分布式数据库，通过表格来存储结构化数据，方便查找。常见的方案包括：MySQL Sharding、Microsoft SQL Azure、Google Spanner、Alibaba OceanBase等。
• 分布式键值系统，通过兼职对来存储半结构化数据。常见的方案包括：Redis、Memcache等。
• 分布式存储系统，通过文件、块、对象等来存储非结构化数据。常见的方案包括：Ceph、GFS、HDFS、Swift等。

详细的分布式数据库比较如下。

详细的分布式存储系统比较如下。