ZooKeeper系列（3）--基于ZooKeeper实现主从协作

基于ZooKeeper实现主从协作 

主-从模式的模型中，主要包括三个角色：

主节点：主要负责监视新的节点和任务，分配任务给可用的从节点;

从节点：通过注册自己，确保主节点看到它们可以执行任务，收到主节点分配的任务后，执行并记录状态;

客户端：创建新的任务并等待系统响应。

1. Zookeeper节点介绍

现通过ZooKeeper的API完成简单的主从协作。在此之前，需了解下ZooKeeper中节点的基本概念。节点的类型分为以下几类：

    1. 持久节点：节点创建后就一直存在，直到有删除操作来主动删除该节点

    2. 临时节点：临时节点的生命周期和创建该节点的客户端会话绑定，即如果客户端会话失效（客户端宕机或下线），这个节点自动删除 

    3. 时序节点：创建节点是可以设置这个属性，ZooKeeper会自动为给定的节点加上一个数字后缀，作为新的节点名。数字后缀的范围是整型的最大值

     4. 临时性时序节点：同时具备临时节点与时序节点的特性，主要用于分布式锁的实现

2. 各个角色的实现

基于Zookeeper各个类型节点的特点，实现主从模式中的各个角色。在ZooKeeper中创建以下节点用于主从协作：

/master 表示主节点;

/workers/worker-id 表示从节点;

/tasks/task-id 表示任务;

/assign 表示任务分配情况。

2.1 主节点角色

因为只有一个进程会成为主节点，所以进程成为主节点后必须锁定管理权，因此进程需要创建名为/master的临时节点，并写入数据，记录该进程的信息，如IP，编号等。

其它进程在尝试创建/master成为主节点时，ZooKeeper会报错，提示该节点已存在。然而主节点可能会崩溃，其它节点需要接替它成为主节点，因此需要在主节点/master上设置监视点（watch）。当监视到/master不存在时，该进程再次创建/master节点，尝试成为主节点。

2.2 从节点角色

从节点首先要通知主节点，告知主节点自己可以执行任务。从节点通过在/workers子节点下创建临时节点，并在字节点中使用主机名或IP来标识自己，如：/workers/worker1.example.com。主节点通过监视（watch）/workers节点，获取所有可用的从节点信息。

从节点需要在/assign下创建自己的子节点，用于接收任务分配，如/assign/worker1.example.com，并监视这个节点的变化，等待新的任务。

2.3 客户端角色

客户端向系统中添加任务（有序节点），我们需要按照任务添加的顺序创建节点，其本质上是一个队列。如执行操作create -s /tasks/task-，会生成/tasks/task-00（数字依次递增），客户端需要知道该任务的完成状态，因此需要监视（watch）该节点。

3. 各个角色相互配合实现主从协作

主节点监视/tasks，当客户端添加任务时，创建/tasks/task-00，主节点收到通知，会去/workers下检查可用的从节点。

获取到从节点列表后，选择其中一个从节点，分派任务：/assign/worker1.example.com/task-00。

从节点通过监视/assign/worker1.example.com，获取自己的任务，并执行。任务完成后，从节点会在/tasks/task-00下更新状态，告知客户端该任务已完成：/tasks/task-00/status。

客户端收到完成任务完成的通知后，整个任务的执行就结束了。当然任务可能会非常复杂，甚至涉及另一个分布式系统。但是不管是什么样的任务，执行的机制与通过ZooKeeper来传递结果，本质上都是一样的。

 

欢迎关注我的微信公众号（Sunnick，请扫码关注），随时留言交流~