云计算与信息安全第六节课20210406

第六讲Amazon Dynamo

基础存储结构Dynamo

Dynamo中使用改进后的一致性哈希算法，并在此基础上进行数据备份，以提高系统的可用性。

一致性哈希算法：<keys,hashs>，存在的问题：可能造成一个结点存储大量的数据；服务器性能有差异，怎么均衡

数据均衡分布的问题：Dynamo引入 虚拟节点的概念。

数据备份：每个数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中。

数据冲突问题：分布式系统通常考虑的三个因素：可靠性、可用性、一致性。

数据冲突如何解决？采用向量时钟技术，[node,counter]对。

 一致性和复制：异步进行复制和定点传输，尽量给用户返回。Amazon为了保证可用性和一致性：应用了抽屉原理（在10个抽屉里面放11个物品，必有一个抽屉里面会放两个物品），R和w读写进行调整，R+W>N。

容错机制：临时故障处理机制：数据回传机制，处理临时失效的节点。

永久性故障处理机制：Merkle哈希树技术加快检测和减少数据传输量。

成员资格及错误检测：

Dynamo采用了一种类似Gossip（闲聊）协议的技术。

防止回路的方法：标记服务器端口号的IP地址（TCP/IP）。

TTL是 Time To Live，当数值为0的时候，就结束了。

种子节点：当新节点加入时，种子节点充当中介的角色。

Dynamo的节点N的个数是几千比较合适，不适合几万。

弹性云计算EC2

简单存储服务S3

简单队列服务SQS

 

Amazon Web Service（AWS）

 

参考链接：https://www.dazhuanlan.com/2019/11/20/5dd4ae9888771/

https://baike.baidu.com/item/TTL/130248?fr=aladdin