随笔分类 - 分布式系统
摘要:MFS(MooseFS)是一个容错的、网络分布式文件系统,是GFS的开源实现。它把数据分散在多个物理机上,对外展现为一个整体资源。支持的功能Unix的通用文件系统功能:目录树;记录POSIX文件属性(权限、最近读取、修改时间);支持特殊文件(块和字符设备、管道和套接口);符号链接和硬链接;根据IP和...
阅读全文
摘要:Dynamo是一个key-value数据存储系统,去中心化、高可扩展、高可用,使用一致性哈希来分区和备份数据,使用数据版本化来实现一致性。核心技术CAP:一致性、可用性、扩展性一致性哈希:切分数据,实现系统增量扩展最终一致性:永远可写,利用数据版本(vector clock)协调数据冲突(由读端自行...
阅读全文
摘要:一致性哈希哈希是调度和负载均衡的常用策略,对于目标资源O,通过hash(O) = O mod n找到资源所在。一个问题是:当增加或删除一台cache server时(n发生了变化),所有资源对应的hash值发生改变,致使策略失效,cache servers需要全部更新。一致性哈希是一种特殊的哈希算法...
阅读全文
摘要:该文章需要整理2015.3.13修改分布式系统通常服务大请求、维护着大数据、快速响应、长时间可用。设计分布式后台服务需要考虑的东西很多,本文给出一些常用的设计准则,以备查看。可用性:系统可以正常服务的时间,一些在线系统常常要求99%的可用性。高可用性往往通过关键组件备份冗余来实现(如冷备、热备)性能...
阅读全文