随笔分类 - 分布式存储
总结分布式存储系统的设计和实现
摘要:在分布式存储系统中,系统可用性是最重要的指标之一,需要保证在机器发生故障时,系统可用性不受影响。本文主要介绍数据备份的方式,以及如何保证多个数据副本的一致性,在系统出现机器或网络故障时,如何保持系统的高可用性。
阅读全文
摘要:在NoSQL存储系统中,一般都采用Key-Value的数据类型,Key-Value结构简单,易于存储,非常适合分布式NoSQL存储系统。但简单的数据类型对业务存储的数据就有一定的局限性,比如需要存储列表类型的数据。针对这个问题,系统对Key-Value类型的数据做了一些扩展,支持在一个Key下存储多个字段和列表,扩大了数据存储的业务场景。本文主要介绍这个分布式存储系统所支持的数据类型,以及数据在内存中的存储实现。
阅读全文
摘要:在分布式存储系统中,数据需要分散存储在多台设备上,数据分片(Sharding)就是用来确定数据在多台存储设备上分布的技术。本文主要介绍常见的数据分片方法,以及一致性哈希算法的应用。
阅读全文
摘要:分布式存储系统是为了解决单机存储所存在的容量、性能等瓶颈,以及可用性、扩展性等方面的问题,通过把数据分散存储在多台存储设备上,为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。这一系列的文章介绍一种典型的分布式存储系统的设计和实现,该系统已经服务大量的业务,达到了数百T的存储量,经受了海量服务的考验。
阅读全文