Zookeeper入门

Zookeeper（动物管理员）

Zookeeper介绍

Zookeeper概述

介绍

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。它是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时导致管理复杂性。

12306:不是12306官方读取自己数据库中的余票信息
智行：(读取12306公司的数据库数据)
智行公司调用了12306公司提供的数据接口(服务)，获取了我们票数据
工作机制

基于观察者模式设计的分布式服务管理框架

Zookeeper特点

Zookeeper：一个领导级别的存在，监测和管理多个服务。
集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
数据一致性：从同一客户端发起的事务请求，最终将会严格地按照顺序被应用到 ZooKeeper 中去。
更新请求顺序进行：来自同一个Client的更新请求按照其发送顺序依次执行。
原子性：所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的，也就是说，要么整个集群中所有的机器都成功应用了某一个事务，要么都没有应用。
实时性：在一定时间范围，Client能读到最新的数据。

Zookeeper数据结构

Zookeeper数据模型的结构与Unix文件系统很类似，都是树结构。树上有若干个节点，每个节点能够存储1MB的数据，同时每个节点都是通过其路径可以唯一标识的。

Zookeeper企业应用场景

Zookeeper服务包括：统一命名服务、统一配置管理、统一集群管理、软负载均衡等。

统一命名服务（接口---命名）

命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等。通过命名服务，客户端可以根据指定名字来获取资源的实体、服务地址和提供者信息。例如一般用户都是通过域名来访问应用而不是IP。阿里开源分布式服务框架Dubbo中使用zookeeper来作为其命名服务，维护全局的服务列表。

统一配置管理

配置文件同步，集群中所有配置文件的信息都是一致的，对配置文件修改后，快速同步到各个节点上。
Zookeeper实现配置管理。将配置信息写入到Zookeeper上的节点，然后各个客户端服务器监听这个节点，一但节点中的数据发生变化，Zookeeper将通知到各个客户端服务器。

统一集群管理

zookeeper的两大特性：节点特性和watcher机制(listener)

分布式环境中实时掌握每个节点的状态，并根据节点实时状态做出一定的调整。
在实时监测到节点变化后，将节点的信息写入到Zookeeper上的节点，通过监听该节点来获取它的实时状态变化。

负载均衡

zookeeperk实现负载均衡就是通过watcher机制和临时节点判断哪些节点宕机来获取可用的节点来实现的
zookeeperk会维护一个树形的数据结构，类似于window的资源管理器目录，其中 EPHEMERAL(临时）节点会随着创建它的客户端端口而被删除，利用这个特性很容易实现软负载均衡。

Zookeeper安装与配置

安装前准备

安装jdk
拷贝Zookeeper安装包到Linux系统下
解压到指定目录

tar -zxvf apache-zookeeper-3.4.10-bin.tar.gz -C /opt/pro/zk

配置修改

将/opt/pro/zk/apache-zookeeper-3.4.10-bin/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；

mv zoo_sample.cfg zoo.cfg
打开zoo.cfg文件，修改dataDir路径：

vi zoo.cfg
修改如下内容：
dataDir=/opt/pro/zk/apache-zookeeper-3.4.10-bin/zkData
）在/opt/pro/zk/apache-zookeeper-3.4.10-bin这个目录上创建zkData文件夹
mkdir zkData
操作Zookeeper
- 启动Zookeeper
  在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
  ./zkServer.sh start
- jps查看进程是否启动
  4020 Jps
  4001 QuorumPeerMain
- 查看状态：
  在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
  ./zkServer.sh status
  显示状态：
  ZooKeeper JMX enabled by default
  
  Using config: /opt/pro/zk/apache-zookeeper-3.4.10-bin/bin/../conf/zoo.cfg
  Mode: standalone
- 启动客户端：
  在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
  ./zkCli.sh
  ls 路径: 查看我们当前节点下的子节点信息 ls /
- quit退出客户端
- 停止Zookeeper服务
  在/opt/pro/zk/apache-zookeeper-3.4.10-bin目录下执行
  ./zkServer.sh stop

配置参数解读

tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
initLimit =10：LF初始通信时限
集群中(3服务器)的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
syncLimit =5：LF同步通信时限
集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
dataDir：数据文件目录+数据持久化路径
主要用于保存Zookeeper中的数据。
clientPort =2181：客户端连接端口
监听客户端连接的端口。

Zookeeper内部原理

选取机制

半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
Zookeeper虽然在配置文件中并没有指定Leader和Follower。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，

（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。
（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。
（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。
（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。
（5）服务器5启动，同4一样当小弟。

节点类型

持久节点（Persistent）：服务端和客户端断开连接后，创建的节点不删除；

持久化目录节点：服务端和客户端断开连接后，该节点仍然存在；

持久化顺序编号目录节点：服务端和客户端断开连接后，该节点仍然存在；只是zook给该节点名称进行顺序编号。
短暂节点(Ephemeral)：服务端和客户端断开连接后，创建的节点自己删除；
临时目录节点：客户端与Zookeeper断开连接后，该节点被删除
临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是zook给该节点名称进行顺序编号。

注意：在分布式系统中，顺序号可以被用于为为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。节点上的顺序号是一个单调递增的计数器，由父节点维护。

Zookeeper写和读数据流程

写数据流程
以3台服务器的Zookeeper集群为例，一个Leader，两个Follower即server1和server2。
- Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；
- 如果server1不是Leader，那么server1会把接收到的写请求转发给Leader；然后Leader会将写请求转发给每个server；
  
  server1和server2负责写数据，并且两个Follower的写入数据是一致的，保存相同的数据副本；
  server1和server2写数据成功后，通知Leader;
- 当Leader收到集群半数以上的节点写成功的消息后，说明该写操作执行成功；
  例如：这里是3台服务器，只要2台Follower服务器写成功就ok
  因为client访问的是server1，所以Leader会告知server1集群中数据写成功；
- 被访问的server1进一步通知client数据写成功，这时，客户端就知道整个写操作成功了。
读数据

相比写数据流程，读数据流程就简单得多；因为每台server中数据一致性都一样，所以随便访问哪台server 读数据就行；没有写数据流程中请求转发、数据同步、成功通知这些步骤。

Zookeeper常用命令

1．启动客户端
bin /zkCli.sh
2．显示所有操作命令
help
3．查看当前znode中所包含的内容
ls /
4．查看当前节点详细数据
ls2 /
5．分别创建2个普通节点
create /shuihu "songjiang"
create /shuihu/liangshan "liubei"
6．获得节点的值
get /shuihu    
7．创建短暂节点
 create -e /shuihu/liangshan "likui"
（1）在当前客户端是能查看到的
  ls /shuihu 
（2）退出当前客户端然后再重启客户端
 quit:退出
 bin/zkCli.sh重新进入
（3）再次查看根目录下短暂节点已经删除
  ls /shuihu
8．创建带序号的节点
（1）先创建一个普通的根节点/shuihu/liangshan
    create /shuihu/liangshan/daxia "yanqing"
    Created /shuihu/liangshan/daxia
（2）创建带序号的节点
    create -s /shuihu/laingshan/yishi "lujunyi"
如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。
9．修改节点数据值
   set /shuihu/liangshan "lishishi"
10．节点的值变化监听
   （1）在hadoop104主机上注册监听/shuihu节点数据变化
      get /shuhui watch
    （2）在hadoop103主机上修改/shuihu节点的数据
      set /shuihu "huangdi"
	（3）观察hadoop104主机收到数据变化的监听
    WATCHER::
    WatchedEvent state:SyncConnected type:NodeDataChanged path:/shuihu
11．节点的子节点变化监听（路径变化）
	（1）在hadoop104主机上注册监听/sanguo节点的子节点变化
      ls /liangshan watch
	（2）在hadoop103主机/liangshan节点上创建子节点
      create /shuihu/chaoting "huarong"
	（3）观察hadoop104主机收到子节点变化的监听
        WATCHER::
        WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/shuihu
12．删除节点
   delete /shuihu/chaoting
13．递归删除节点
    rmr  /shuihu   
14．查看节点状态
stat /shuihu

Zookeeper的API应用

创建一个Maven工程

添加pom文件

    <dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
		<dependency>
			<groupId>org.apache.zookeeper</groupId>
			<artifactId>zookeeper</artifactId>
			<version>3.6.2</version>
		</dependency>
</dependencies>

log4j.properties文件

需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建ZooKeeper客户端

定义实例化Zookeeper

    private static String connectString =
            "192.168.11.113:2181,192.168.11.114:2181,192.168.11.1158:2181";
    private static int sessionTimeout = 60000;
    private ZooKeeper zkClient = null;

    @Before
    public void init() throws Exception {

        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {

            public void process(WatchedEvent event) {
                // 收到事件通知后的回调函数（用户的业务逻辑）
                System.out.println(event.getType() + "--" + event.getPath());
                // 再次启动监听
                try {
                    zkClient.getChildren("/", true);
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });
    }

创建子节点

    // 创建子节点
    @Test
    public void create(){
        // 参数1：要创建的节点的路径； 参数2：节点数据 ； 参数3：节点权限 ；参数4：节点的类型
        try {
            String nodeCreated = zkClient.create("/offcn", "youjiuye".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        } catch (KeeperException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

获取子节点

    // 获取子节点
    @Test
    public void getChildren() throws Exception {

        List<String> children = zkClient.getChildren("/", true);

        for (String child : children) {
            System.out.println(child);
        }       
    }

posted @ 2021-10-05 10:42 Lucky_龍阅读(101) 评论(0) 收藏举报

刷新页面返回顶部

Lucky_龍