使用ZooKeeper实现Java跨JVM的分布式锁

一、使用ZooKeeper实现Java跨JVM的分布式锁

二、使用ZooKeeper实现Java跨JVM的分布式锁(优化构思)

三、使用ZooKeeper实现Java跨JVM的分布式锁(读写锁)

 

说明：本文是使用Curator框架进行讲解及演示，Curator是对Zookeeper客户端的一个封装，因为Zookeeper的客户端实现偏底层，如果想要实现锁或其他功能都需要自己封装，实现一些简单的功能还可以，如果想要实现锁这种高并发下的东西，不建议自己封装，除非你自信你写的东西比国外大神写的还好~ 如果是研究学习到是可以自己写一下，同时也可以看看开源的代码，那里面还是有很多值得学习的东西。

Zookeeper版本为 Release 3.4.8(stable)

Curator版本为2.9.1

 

<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.4.8</version>
</dependency>

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>2.9.1</version>
</dependency>

<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-client</artifactId>
    <version>2.9.1</version>
</dependency>

 

 

锁原理：

1、首先要创建一个锁的根节点，比如/mylock。

 

2、想要获取锁的客户端在锁的根节点下面创建znode，作为/mylock的子节点，节点的类型要选择CreateMode.PERSISTENT_SEQUENTIAL，节点的名字最好用uuid（至于为什么用uuid我后面会讲，先说一下~如果不这么做在某种情况下会发生死锁，这一点我看了很多国内朋友自己的实现，都没有考虑到这一层，这也是我为什么不建议大家自己去封装这种锁，因为它确实很复杂），假设目前同时有3个客户端想要获得锁，那么/mylock下的目录应该是这个样子的。

xxx-lock-0000000001，xxx-lock-0000000002，xxx-lock-0000000003

xxx为uuid ， 0000000001，0000000002，0000000003 是zook服务端自动生成的自增数字。

 

3、当前客户端通过getChildren（/mylock）获取所有子节点列表并根据自增数字排序，然后判断一下自己创建的节点的顺序是不是在列表当中最小的，如果是 那么获取到锁，如果不是，那么获取自己的前一个节点，并设置监听这个节点的变化，当节点变化时重新执行步骤3 直到自己是编号最小的一个为止。

举例：假设当前客户端创建的节点是0000000002，因为它的编号不是最小的，所以获取不到锁，那么它就找到它前面的一个节点0000000001 并对它设置监听。

 

4、释放锁，当前获得锁的客户端在操作完成后删除自己创建的节点，这样会激发zook的事件给其它客户端知道，这样其它客户端会重新执行（步骤3）。

举例：加入客户端0000000001获取到锁，然后客户端0000000002加入进来获取锁，发现自己不是编号最小的，那么它会监听它前面节点的事件（0000000001的事件）然后执行步骤（3），当客户端0000000001操作完成后删除自己的节点，这时zook服务端会发送事件，这时客户端0000000002会接收到该事件，然后重复步骤3直到获取到锁）

 

上面的步骤实现了一个有序锁，也就是先进入等待锁的客户端在锁可用时先获得锁。

如果想要实现一个随机锁，那么只需要把PERSISTENT_SEQUENTIAL换成一个随机数即可。

 

简单示例：

 

package com.framework.code.demo.zook;

import org.apache.curator.RetryPolicy;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;
import org.apache.curator.framework.recipes.locks.InterProcessMutex;
import org.apache.curator.retry.ExponentialBackoffRetry;

public class CuratorDemo {

    public static void main(String[] args) throws Exception {

        //操作失败重试机制 1000毫秒间隔 重试3次
        RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);
        //创建Curator客户端
        CuratorFramework client = CuratorFrameworkFactory.newClient("192.168.1.18:2181", retryPolicy);
        //开始
        client.start();

        /**
         * 这个类是线程安全的，一个JVM创建一个就好
         * mylock 为锁的根目录，我们可以针对不同的业务创建不同的根目录
         */
        final InterProcessMutex lock = new InterProcessMutex(client, "/mylock");
        try {
            //阻塞方法，获取不到锁线程会挂起。
            lock.acquire();
            System.out.println("已经获取到锁");
             Thread.sleep(10000);
        } catch (Exception e) {
            e.printStackTrace();
        }
        finally{
            //释放锁，必须要放到finally里面，已确保上面方法出现异常时也能够释放锁。
            lock.release();
        }

        Thread.sleep(10000);

        client.close();
    }

}

上面代码再获取锁的地方暂停了10秒钟，我们使用zook的客户端去查看目录的创建情况，由于我前面已经做了几次测试，所以序号是从12开始的。

 

 

 

模拟多个客户端（也可以认为是多个JVM）：

现在把上面的代码改造一下放入到线程中去执行，模拟多个客户端测试。

 

public class CuratorDemo {

    public static void main(String[] args) throws Exception {
        for (int i = 0; i < 10; i++) {
            //启动10个线程模拟多个客户端
            Jvmlock jl = new Jvmlock(i);
            new Thread(jl).start();
            //这里加上300毫秒是为了让线程按顺序启动，不然有可能4号线程比3号线程先启动了，这样测试就不准了。
            Thread.sleep(300);
        }
    }

    public static class Jvmlock implements Runnable{

        private int num;
        public Jvmlock(int num) {
            this.num = num;
        }

        @Override
        public void run() {
            RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000,3);
            CuratorFramework client = CuratorFrameworkFactory
                    .newClient("192.168.142.128:2181", retryPolicy);
            client.start();

            InterProcessMutex lock = new InterProcessMutex(client,
                    "/mylock");
            try {
                System.out.println("我是第" + num + "号线程，我开始获取锁");
                lock.acquire();
                System.out.println("我是第" + num + "号线程，我已经获取锁");
                Thread.sleep(10000);
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                try {
                    lock.release();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
            client.close();
        }
    }

}

通过客户端软件我们可以看到10个申请锁的节点已经被创建出来了。

 

看一下打印结果，先申请获取锁的线程在锁可用时最先获取到锁，因为他们申请锁时创建节点的顺序号是递增的，先申请锁的客户端创建的节点编号最小，所以先获取到锁

 

我是第0号线程，我开始获取锁
我是第0号线程，我已经获取锁
我是第1号线程，我开始获取锁
我是第2号线程，我开始获取锁
我是第3号线程，我开始获取锁
我是第4号线程，我开始获取锁
我是第5号线程，我开始获取锁
我是第6号线程，我开始获取锁
我是第7号线程，我开始获取锁
我是第8号线程，我开始获取锁
我是第9号线程，我开始获取锁
我是第1号线程，我已经获取锁
我是第2号线程，我已经获取锁
我是第3号线程，我已经获取锁
我是第4号线程，我已经获取锁
我是第5号线程，我已经获取锁
我是第6号线程，我已经获取锁
我是第7号线程，我已经获取锁
我是第8号线程，我已经获取锁
我是第9号线程，我已经获取锁

 

 

为什么节点的名称要加上uuid，这是框架的英文解释。

It turns out there is an edge case that exists when creating sequential-ephemeral nodes. The creation can succeed on the server, but the server can crash before the created node name is returned to the client. However, the ZK session is still valid so the ephemeral node is not deleted. Thus, there is no way for the client to determine what node was created for them. 

Even without sequential-ephemeral, however, the create can succeed on the sever but the client (for various reasons) will not know it. 

Putting the create builder into protection mode works around this. The name of the node that is created is prefixed with a GUID. If node creation fails the normal retry mechanism will occur. On the retry, the parent path is first searched for a node that has the GUID in it. If that node is found, it is assumed to be the lost node that was successfully created on the first try and is returned to the caller.

就是说 当客户端创建了一个节点，这个创建的过程在zook的服务器端已经成功了，但是在将节点的路径返回给客户端之前服务器端挂了， 因为客户端的session还是有效的，所以这个节点不会删除， 这样客户端就不知道哪个节点是它创建的。

当客户端发生创建失败的时候，会进行重试，如果这个时候zook已经恢复可用，那么客户端会查询服务器端所有子节点，然后通过和自己创建的uuid对比，如果找到了，说明这个节点是它之前创建的，那么久直接使用它，不然这个节点就会成为一个死节点，导致死锁。

 

实现非公平锁：

重写创建节点的方法，

 

package com.framework.code.demo.zook.lock;

import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.recipes.locks.StandardLockInternalsDriver;
import org.apache.zookeeper.CreateMode;

public class NoFairLockDriver extends StandardLockInternalsDriver {

    /**
     * 随机数的长度
     */
    private int numLength;
    private static int DEFAULT_LENGTH = 5;

    public NoFairLockDriver() {
        this(DEFAULT_LENGTH);
    }

    public NoFairLockDriver(int numLength) {
        this.numLength = numLength;
    }

    @Override
    public String createsTheLock(CuratorFramework client, String path, byte[] lockNodeBytes) throws Exception
    {
        String newPath = path + getRandomSuffix();
        String ourPath;
        if ( lockNodeBytes != null )
        {
            //原来使用的是CreateMode.EPHEMERAL_SEQUENTIAL类型的节点
            //节点名称最终是这样的_c_c8e86826-d3dd-46cc-8432-d91aed763c2e-lock-0000000025
            //其中0000000025是zook服务器端资自动生成的自增序列 从0000000000开始
            //所以每个客户端创建节点的顺序都是按照0，1，2，3这样递增的顺序排列的，所以他们获取锁的顺序与他们进入的顺序是一致的，这也就是所谓的公平锁
            //现在我们将有序的编号换成随机的数字，这样在获取锁的时候变成非公平锁了
            ourPath = client.create().creatingParentContainersIfNeeded().withProtection().withMode(CreateMode.EPHEMERAL).forPath(newPath, lockNodeBytes);
            //ourPath = client.create().creatingParentContainersIfNeeded().withProtection().withMode(CreateMode.EPHEMERAL_SEQUENTIAL).forPath(path, lockNodeBytes);
        }
        else
        {
            ourPath = client.create().creatingParentContainersIfNeeded().withProtection().withMode(CreateMode.EPHEMERAL).forPath(newPath);
            //ourPath = client.create().creatingParentContainersIfNeeded().withProtection().withMode(CreateMode.EPHEMERAL_SEQUENTIAL).forPath(path);
        }
        return ourPath;
    }

    /**
     * 获得随机数字符串
     */
    public String getRandomSuffix() {
        StringBuilder sb = new StringBuilder();
        for (int i = 0; i < numLength; i++) {
            sb.append((int) (Math.random() * 10));
        }
        return sb.toString();
    }

}

 

把我们写的类注册进去：

 

InterProcessMutex lock = new InterProcessMutex(client,"/mylock", new NoFairLockDriver());

还是上面的例子，在跑一边看结果，可以看到，获取锁的顺序已经是无序的了，从而实现了非公平锁。

 

 

我是第1号线程，我开始获取锁
我是第0号线程，我开始获取锁
我是第0号线程，我已经获取锁
我是第2号线程，我开始获取锁
我是第3号线程，我开始获取锁
我是第4号线程，我开始获取锁
我是第5号线程，我开始获取锁
我是第6号线程，我开始获取锁
我是第7号线程，我开始获取锁
我是第8号线程，我开始获取锁
我是第9号线程，我开始获取锁
我是第9号线程，我已经获取锁
我是第8号线程，我已经获取锁
我是第4号线程，我已经获取锁
我是第7号线程，我已经获取锁
我是第3号线程，我已经获取锁
我是第1号线程，我已经获取锁
我是第2号线程，我已经获取锁
我是第5号线程，我已经获取锁
我是第6号线程，我已经获取锁