Zookeeper 使用(二)

1、Zookeeper 内部原理

1.1、Zookeeper 内部选举机制

（1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是 LOOKING状态。

（2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

（3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。

（4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

（5）服务器5启动，同4一样当小弟。

假设 Leader 故障，机器1：(2，1)，机器2 (2，2)：机器3 故障，原来的Leader，

机器4：(2，4)，机器5：(2，5)，如果之前的leader挂了后重新启动机器（机器3不启动）那么机器4当选leader，如果上一个leader 挂了之后机器4 机器5 同时投票那么机器5当选leader。

半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
以一个简单的例子来说明整个选举的过程。假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动。

1.2、节点类型

持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除

短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除

持久化目录节点：客户端与Zookeeper断开连接后，该节点依旧存在；
持久化顺序编号目录节点：客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号；
临时目录节点：客户端与Zookeeper断开连接后，该节点被删除；
临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号；

说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

1.3、stat 结构体

1）czxid-创建节点的事务zxid

每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。

事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发生。

2）ctime - znode被创建的毫秒数(从1970年开始)

3）mzxid - znode最后更新的事务zxid

4）mtime - znode最后修改的毫秒数(从1970年开始)

5）pZxid-znode最后更新的子节点zxid

6）cversion - znode子节点变化号，znode子节点修改次数

7）dataversion - znode数据变化号

8）aclVersion - znode访问控制列表的变化号

9）ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0。

10）dataLength- znode的数据长度

11）numChildren - znode子节点数量

[zk: localhost:2181(CONNECTED) 19] ls -s /zookeeper
[config, quota]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -2
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

1.4、监听原理

监听方法：

首先要有一个main()线程;
在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）;
通过connect线程将注册的监听事件发送给Zookeeper;
在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中;
Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程;
listener线程内部调用了process()方法;

常见监听：

监听节点数据的变化 get path [watch]
监听子节点增减的变化 ls path [watch]

1.5、写数据流程

Client 向 ZooKeeper 的 Server1 上写数据，发送一个写请求。
如果Server1不是Leader，那么Server1 会把接受到的请求进一步转发给Leader，因为每个ZooKeeper的Server里面有一个是Leader。这个Leader 会将写请求广播给各个Server，比如Server1和Server2，各个Server写成功后就会通知Leader。
当Leader收到大多数 Server 数据写成功了，那么就说明数据写成功了。如果这里三个节点的话，只要有两个节点数据写成功了，那么就认为数据写成功了。写成功之后，Leader会告诉Server1数据写成功了。
Server1会进一步通知 Client 数据写成功了，这时就认为整个写操作成功。

2、Zookeeper 分布式应用

2.1、Zookeeper 分布式安装

1、集群规划

在虚拟机 hadoop302、hadoop303、hadoop304 三个节点上部署 Zookeeper；

2、解压安装

解压安装文件到指定路径

[hui@hadoop302 software]$ tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

3、配置服务器编号

在/opt/module/zookeeper-3.5.7/这个目录下创建zkData

[hui@hadoop302 zookeeper-3.5.7]$ mkdir -p zkData

创建编辑 myid 文件

[hui@hadoop302 zkData]$ vim myid
2

分发 myid 文件到其余节点

集群内的服务器编号不能重复，分发myid 后需要进行修改；

4、配置 zoo.cfg 文件

重命名/opt/module/zookeeper-3.5.7/conf这个目录下的zoo_sample.cfg为zoo.cfg

[hui@hadoop103 conf]$ mv zoo_sample.cfg zoo.cfg

打开zoo.cfg文件，添加配置

dataDir=/opt/module/zookeeper-3.5.7/zkData
#######################cluster##########################
server.2=hadoop302:2888:3888
server.3=hadoop303:2888:3888
server.4=hadoop304:2888:3888

分发

[hui@hadoop302 module]$ sxync zookeeper-3.5.7/

注意:集群内的服务器编号不能重复，分发myid 后需要进行修改；

[hui@hadoop303 zkData]$ vim myid 
3
[hui@hadoop304 zookeeper-3.5.7]$ vim zkData/myid 
4

配置文件说明

server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

B是这个服务器的ip地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

5、集群操作

群起脚本

vim zk.sh
#!/bin/sh
case $1 in
"start"){
        for i in hadoop302 hadoop303 hadoop304
        do
        echo ---------- zookeeper $i 启动 ------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
        done
};;
"stop"){
        for i in hadoop302 hadoop303 hadoop304
        do
        echo ---------- zookeeper $i 停止 ------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
};;
"status"){
        for i in hadoop302 hadoop303 hadoop304
        do
        echo ---------- zookeeper $i 状态 ------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
};;
esac

2.2、客户端命令操作

命令基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建 -s 含有序列 -e 临时（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点

1、启动客户端

[[hui@hadoop302 zookeeper-3.5.7]$ bin/zkCli.sh
Connecting to localhost:2181

2、显示常用命令

[zk: localhost:2181(CONNECTED) 0] help
ZooKeeper -server host:port cmd args
        addauth scheme auth
        close 
        config [-c] [-w] [-s]
        connect host:port
        create [-s] [-e] [-c] [-t ttl] path [data] [acl]
        delete [-v version] path
        deleteall path
        delquota [-n|-b] path
        get [-s] [-w] path
        getAcl [-s] path
        history 
        listquota path
        ls [-s] [-w] [-R] path
        ls2 path [watch]
        printwatches on|off
        quit 
        reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
        redo cmdno
        removewatches path [-c|-d|-a] [-l]
        rmr path
        set [-s] [-v version] path data
        setAcl [-s] [-v version] [-R] path acl
        setquota -n|-b val path
        stat [-w] path
        sync path

3、查看当前 znode 所有内容

[zk: localhost:2181(CONNECTED) 1] ls /
[zookeeper]

4、查看详细内容

[zk: localhost:2181(CONNECTED) 2] ls -s /
[zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x200000015
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

5、创建普通节点

[zk: localhost:2181(CONNECTED) 4]  ls /xajh 
[]
[zk: localhost:2181(CONNECTED) 5] ls -s /xajh 
[]cZxid = 0x300000003
ctime = Sun Mar 13 15:10:53 CST 2022
mZxid = 0x300000003
mtime = Sun Mar 13 15:10:53 CST 2022
pZxid = 0x300000003
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

[zk: localhost:2181(CONNECTED) 6] get /xajh
hausan

6、创建短暂节点

[zk: localhost:2181(CONNECTED) 7] create -e /xajh/songsan zuolc
Created /xajh/songsan
[zk: localhost:2181(CONNECTED) 8] get /xajh/songsan
zuolc

注意：短暂节点创建后，推出客户端再次启动客户端短暂节点丢失；

7、创建带有序号的节点

[zk: localhost:2181(CONNECTED) 9]  create -s /xajh/hengsan yilin
Created /xajh/hengsan0000000001
[zk: localhost:2181(CONNECTED) 12] create -s /xajh/hengsan yilin
Created /xajh/hengsan0000000002

8、修改值

[zk: localhost:2181(CONNECTED) 18] get /xajh
hausan
[zk: localhost:2181(CONNECTED) 19] set /xajh songsan
[zk: localhost:2181(CONNECTED) 20] get /xajh
songsan

9、节点值变化监听

hadoop303 设置监听

[zk: localhost:2181(CONNECTED) 3]  get -w /xajh

hadioop302 重置/xajh 的值

[zk: localhost:2181(CONNECTED) 22] set /xajh huasan

此时 hadoop304 有一个消息

WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/xajh

说明：监听程序注册一次只有效一次，需要再次有效，需要再次注册；

10、删除节点

[zk: localhost:2181(CONNECTED) 8] delete /xajh/songshan0000000004

11、递归删除节点

[zk: localhost:2181(CONNECTED) 11] rmr /xajh

posted @ 2022-03-13 15:59 晓枫的春天阅读(42) 评论(0) 编辑收藏举报

刷新页面返回顶部

滴水穿石不是靠力，而是因为不舍昼夜。