分布式哈希和一致性哈希算法
目录
笔记来自分布式原理一书，供个人学习。
数据分布
单机系统与分布式系统的最大的区别在于问题的规模，即计算、存储的数据量的区别。将一个单机问题使用分布式解决，首先要解决的就是如何将问题拆解为可以使用多机分布式解决，使得
分布式系统中的每台机器负责原问题的一个子集。由于无论是计算还是存储，其问题输入对象都是数据，所以如何拆解分布式系统的输入数据成为分布式系统的基本问题，我们称这样的数据拆解为数据分布方式。
哈希方式
哈希方式是最常见的数据分布方式，其方法是按照数据的某一特征计算哈希值，并将哈希值与机器中的机器建立映射关系，从而将不同哈希值的数据分布到不同的机器上。所谓数据特征可以是
key-value 系统中的 key，也可以是其他与应用业务逻辑相关的值。例如，一种常见的哈希方式是按数据属于的用户 id 计算哈希值，集群中的服务器按0到机器数减 1 编号，哈希值除以服务器的个数，结果的余数作为处理该数据的服务器编号。工程中，往往需要考虑服务器的副本冗余，将每数台（例如 3）服务器组成一组，用哈希值除以总的组数，其余数为服务器组的编号。图 2-1 给出了哈希方式分数据的一个例子，将数据按哈希值分配到 4 个节点上。
哈希方式特点：
1.每个节点只计算一部分数据；每个节点只存储一部分数据。
我们假设节点的数量没有变化（实际上不可能），那么同一个用户的数据会被同一个节点计算和存储。
2.任何节点只需要知道哈希函数的计算方式及模的服务器总数就可以计算出处理具体数据的机器是哪台。
哈希方式只需要知道两个关键：1.以什么作为哈希计算的特征值；2.节点数量（节点数量，因为节点数量是动态的，必需有保活机制，服务发现等）。就可以计算这个数据由哪个节点处理。
缺点：
1.扩展性：一旦节点数量发生变化，则几乎所有的数据需要被迁移并重新分布。
分布式系统中，节点的添加和删除、或者宕机等是很普遍的情况，当节点数量发生变化，同一个ID的数据会由不同的节点处理。
2.“数据倾斜”（dataskew）问题：一旦某数据特征值的数据严重不均。
如果某用户的数据量过大，该用户的数据始终由某一台节点处理。假如该用户的数据量超过了单台服务器处理能力的上限，则该用户的数据不能被处理。
问题解决：
关于扩展性：
1.扩展哈希分布数据的系统时，往往使得集群规模成倍扩展，按照数据重新计算哈希，这样原本一台机器上的数据只需迁移一半到另一台对应的机器上即可完成扩展。
2.还有一种思路是不再简单的将哈希值与机器做除法取模映射，而是将对应关系作为元数据由专门的元数据服务器管理。访问数据时，首先计算哈希值并查询元数据服务器，获得该哈希值对应的机器。缺点是需要以较复杂的机制维护大量的元数据，但是元数据中哈希值和对应的机器的值不是固定的，所以可以做负载均衡。
关于数据倾斜问题：
1.一种极端的思路是，使用数据的全部而不是某些维度的特征计算哈希，这样数据将被完全打散在集群中。然而实践中有时并不这样做，这是因为这样做使得每个数据之间的关联性完全消失，一个用户ID的数据可能分布到任何一台机器处理。只适用于数据之间没有联系。
3、一致性哈希方式
一致性哈希（consistent hashing）是另一个种在工程中使用较为广泛的数据分布方式。一致性哈希最初在 P2P 网络中作为分布式哈希表（DHT）的常用数据分布算法。一致性哈希的基本方式是使用一个哈希函数计算数据或数据特征的哈希值，令该哈希函数的输出值域为一个封闭的环，即哈希函数输出的最大值是最小值的前序。将节点随机分布到这个环上，每个节点负责处理从自己开始顺时针至下一个节点的全部哈希值域上的数据。
一致性哈希方式特点：
前面哈希分布数据的方式在集群扩容时非常复杂，往往需要倍增节点个数，与此相比，一致性哈希的优点在于可以任意动态添加、删除节点，每次添加、删除一个节点仅影响一致性哈希环上相邻的节点。
缺点：
1.随机分布节点的方式使得很难均匀的分布哈希值域，尤其在动态增加节点后，即使原先的分布均匀也很难保证继续均匀
2.当一个节点异常时，该节点的压力全部转移到相邻的一个节点，当加入一个新节点时只能为一个相邻节点分摊压力。
问题解决：
关于分布不均匀与负载均衡：
系统初始时就创建许多虚节点，
虚节点的个数一般远大于未来集群中机器的个数，将虚节点均匀分布到一致性哈希值域环上，其功能与基本一致性哈希算法中的节点相同。为每个节点分配若干虚节点。操作数据时，首先通过数据的哈希值在环上找到对应的虚节点，进而查找元数据找到对应的真实节点。使用虚节点改进有多个优点。首先，一旦某个节点不可用，该节点将使得多个虚节点不可用，从而使得多个相邻的真实节点负载失效节点的压里。同理，一旦加入一个新节点，可以分配多个虚节点，从而使得新节点可以负载多个原有节点的压力，从全局看，较容易实现扩容时的负载均衡。
以下转载：https://blogread.cn/it/article/3833?f=sr
一致性哈希算法：
一致性哈希也只是提出四个概念和原则：
1、balance：哈希结果尽可能的平均分散到各个节点上，使得每个节点都能得到充分利用。
2、Monotonicity：上面也说了，如果是用哈希算法，节点变更会使得整个网络的映射关系更改。如果是carp，会使得1/n的映射关系更改。一致性哈希的目标，是节点变更，不会改变网络的映射关系。
3、spread：同一份数据，存储到不同的节点上，换言之就是系统冗余。一致性哈希致力于降低系统冗度。
4、load：负载分散，和balance其实是差不多的意思，不过这里更多是指数据存储的均衡，balance是指访的均衡。
Chord算法：
一致性哈希有多种实现算法，最关键的问题在于如何定义数据分割策略和节点快速查询。
chord算是最为经典的实现。cassandra中的DHT，基本是chord的简化版。
网络中每个节点分配一个唯一id，可以通过机器的mac地址做sha1，是网络发现的基础。
假设整个网络有N 个节点，并且网络是呈环状。两个节点间的距离定义为每个节点会存储一张路由表(finger表)，表内顺时针按照离本节点2、4、8、16、32.……2i的距离选定log2N个其他节点的ip信息来记录。
存储方面：数据被按一定规则切割，每一份数据也有一个独立id(查询key)，并且和节点id的值域是一样的。然后查找节点，如果存在和数据id一样的节点id，则将这份数据存在该节点上；如果不存在，则存储到离该数据id距离最近的节点上。同时，为了保证数 据的可靠性，会顺时针往下找K个冗余节点，存储这份数据。一般认为K=3是必须的。
查询方面：先从自己的路由表中，找一个和数据id距离最近、并且存活在网络中的节点next。如果该节点的 id巧合和数据id相等，那么恭喜你。如果不相等，则到next进行递归查找。一般或需要经过多次查询才能找到数据所在的节点，而这个次数是可以被证明小 于等于log2N的。
在这个查询的过程中就体现了路由表的选取优势了，其实是实现了一个二分查找，从每个节点来观察网络，都是将网络分成了log2N块，最大一块里面有N/2个节点。路由表里面其实是记录了每一块的第一个节点。这样每一次查询，最少排除了一半的节点。保证在 log2N次内找到目标节点。
新增一个节点i，需要预先知道网络中已经存活的一个节点j，然后通过和节点j交互，更新自己和其他节点的路由表。并且，需要将离自己距离最近的节点中的数据copy过来，以提供数据服务。
损失一个节点，路由算法会自动跳过这个节点，并且依靠数据的冗余来持续提供服务。
KAD算法(Kademlia)
kad算法其实是在chord上做的优化。主要是两个点：
1、用二进制(32/64/128)表示一个节点的id，两节点的id异或运算得到节点间的距离。
2、 每个节点保持的路由信息更丰富，同样是将整个网络按照划分成log2N份，在chord中，是保持log2N个路由节点，但在kad里面，是保存了 log2N个队列。每个队列长度为配置值K，记录网络中对应节点区域的多个节点，并且根据活跃时间对这些节点进行换入换出。
第一点是方便进行网络划分，节点按照二进制中每一bit的0或1建成一棵二叉树。
第二点是使得节点查询更迅速。从分割情况我们就可以得知，最坏情况不会差于chord，但保存更多的节点使得命中概率更高。另外队列中根据活跃时间进行换入换出，更有利于在p2p这种节点变更频繁的网络中快速找到有效的节点。
关于kad的介绍，这篇文章讲的比较详细wenku.baidu.com/view/ee91580216fc700abb68fcae.html
