zookeeper总结

一、概念

Zookeeper 是 一个典型的分布式数据一致性的解决方案.

1、zookeeper有两种运行模式:

  集群模式和单机模式,还有一种伪集群模式,在单机模式下模拟集群的zookeeper服务

2、Zookeeper的典型应用场景:

  • 数据发布/订阅
  • 负载均衡
  • 命名服务
  • 分布式协调/通知
  • 集群管理
  • Master
  • 分布式锁
  • 分布式队列

二、zookeeper基础

1、zk是怎样保证主从节点的状态同步

zookeeper 的核心是原子广播,这个机制保证了各个 server 之间的同步。实现这个机制的协议叫做 zab 协议。 zab 协议有两种模式,分别是恢复模式(选主)和广播模式(同步)。

当服务启动或者在领导者崩溃后,zab 就进入了恢复模式,当领导者被选举出来,且大多数 server 完成了和 leader 的状态同步以后,恢复模式就结束了。状态同步保证了 leader 和 server 具有相同的系统状态。

2、zk的通知机制

客户端端会对某个 znode 建立一个 watcher 事件,当该 znode 发生变化时,这些客户端会收到 zookeeper 的通知,然后客户端可以根据 znode 变化来做出业务上的改变

3、zk的分布式锁实现方式

使用zookeeper实现分布式锁的算法流程,假设锁空间的根节点为/lock:

  1. 客户端连接zookeeper,并在/lock下创建临时的且有序的子节点,第一个客户端对应的子节点为/lock/lock-0000000000,第二个为/lock/lock-0000000001,以此类推。
  2. 客户端获取/lock下的子节点列表,判断自己创建的子节点是否为当前子节点列表中序号最小的子节点,如果是则认为获得锁,否则监听刚好在自己之前一位的子节点删除消息,获得子节点变更通知后重复此步骤直至获得锁;
  3. 执行业务代码;
  4. 完成业务流程后,删除对应的子节点释放锁。

三、分布式一致性协议

    zk采用的是paxos协议.

    常见的分布式一致性协议有: 两阶段提交协议,三阶段提交协议,向量时钟,paxos协议,Raft协议. 

  1、两阶段提交协议(2PC)

      两阶段提交协议,简称2PC,是比较常用的解决分布式事务问题的方式,要么所有参与进程都提交事务,要么都取消事务,即实现ACID中的原子性(A)的常用手段。

  2、三阶段提交协议(3PC)

      3PC就是在2PC基础上将2PC的提交阶段细分位两个阶段:预提交阶段和提交阶段

  3、向量时钟

      通过向量空间祖先继承的关系比较, 使数据保持最终一致性,这就是向量时钟的基本定义。

  4、paxos协议

      更多详细资料:https://blog.csdn.net/chdhust/article/details/52651741

四、zk选举机制

  zookeeper默认的算法是FastLeaderElection,采用投票数大于半数则胜出的逻辑

1、名词解释

服务器ID(SID)

        比如有三台服务器,编号分别是1,2,3。
        编号越大在选择算法中的权重越大。

选举状态

        LOOKING,竞选状态。
        FOLLOWING,随从状态,同步leader状态,参与投票。
        OBSERVING,观察状态,同步leader状态,不参与投票。
        LEADING,领导者状态。

数据ID(ZXID也叫事务ID)

        服务器中存放的最新数据version。
        值越大说明数据越新,在选举算法中数据越新权重越大。

逻辑时钟

        也叫投票的次数,同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加,然后与接收到的其它服务器返回的投票信息中的数值相比,根据不同的值做出不同的判断。
        

2、全新集群选举

        假设目前有5台服务器,每台服务器均没有数据,它们的编号分别是1,2,3,4,5,按编号依次启动,它们的选举过程如下:

服务器1启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器1的状态一直属于Looking。

服务器2启动,给自己投票,同时与之前启动的服务器1交换结果,由于服务器2的编号大所以服务器2胜出,但此时投票数没有大于半数,所以两个服务器的状态依然是LOOKING。

服务器3启动,给自己投票,同时与之前启动的服务器1,2交换信息,由于服务器3的编号最大所以服务器3胜出,此时投票数正好大于半数,所以服务器3成为领导者,服务器1,2成为小弟。

服务器4启动,给自己投票,同时与之前启动的服务器1,2,3交换信息,尽管服务器4的编号大,但之前服务器3已经胜出,所以服务器4只能成为小弟。

服务器5启动,后面的逻辑同服务器4成为小弟。

3、非全新集群选举

        对于运行正常的zookeeper集群,中途有机器down掉,需要重新选举时,选举过程就需要加入数据ID、服务器ID和逻辑时钟。

数据ID:数据新的version就大,数据每次更新都会更新version。

服务器ID:就是我们配置的myid中的值,每个机器一个。

逻辑时钟:这个值从0开始递增,每次选举对应一个值。 如果在同一次选举中,这个值是一致的。

这样选举的标准就变成:

  • 逻辑时钟小的选举结果被忽略,重新投票;
  • 统一逻辑时钟后,数据id大的胜出;
  • 数据id相同的情况下,服务器id大的胜出;
posted @ 2020-03-22 22:19  飞末  阅读(537)  评论(0编辑  收藏  举报