zookeeper笔记
zookeeper 动物园管理员。前几天看到 金蝉脱壳2 台词中出现了这个词。黄教主演技还不错。
其实Zookeeper的作用是用来做HA高可用。hadoop或spark的HA都需要利用到它。
########################### zookeeper 选举机制 ############################ #服务器ID, 编号越大在选举算法中权重越大; #选举状态: Looking,竞选; Following,随从状态,同步leader状态,参与投票. observing, 观察状态,同步leader状态,不参与投票. Leading,领导状态. #数据ID: 服务器中存放的最新数据version,值越大数据越新,在选举中权重越大. #逻辑时钟: 也叫投票次数,同一轮投票过程中逻辑值是相同的,每投完一次票这个数据就增加,如果没参与投票,下一轮就比其它的小. #全新集群选举: 1,每个机器都给自己投票; 2,投票数过半选举结束. 主要参考myid的值. #非全新选举: 运行中有机器当掉时,就需要重新选举,过程就需要加入:数据ID,服务器ID和逻辑时钟. #选举标准变为: 1,逻辑时钟小的选举结果被忽略,重新投票; 2,统一逻辑时钟后,数据ID大的胜出; 3,数据ID相同的情况下,服务器ID大的胜出.根据这些规则选出leader.
安装与配置：
#安装前先要安装好JDK, 配置ssh免密登录. #集群时间同步, 防火墙关闭, 主机名, hosts配置. #下载安装包 http://zookeeper.apache.org tar zxvf zookeeper-3.4.5.tar.gz #配置环境变量 每台zookeeper都要修改. vim /etc/profile #增加两行zookeeper环境变量 export ZOOKEEPER_HOME=/usr/local/src/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin scp -r /etc/profile root@slave1:/etc/ scp -r /etc/profile root@slave2:/etc/ source /etc/profile cd /usr/local/src/zookeeper/ mkdir zkdata vim zookeeper/conf/zoo.cfg #修改配置文件 dataDir=/usr/local/src/zookeeper/zkdata server.1=master:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:3888 shift zz cd /usr/local/src/zookeeper/zkdata echo 1 > myid #服务器编号 scp -r /usr/local/src/zookeeper/ root@slave1:/usr/local/src/ scp -r /usr/local/src/zookeeper/ root@slave2:/usr/local/src/ # 一定要修改各台服务器编号 myid /usr/local/src/zookeeper/bin/zkServer.sh start #启动服务. 每台都需要启动 zkServer.sh status #查看状态 也可以jps zkServer.sh stop #停止服务
Shell 的使用：
############################# 开始 shell 使用 ##################################### zkCli.sh -server master:2181 #连接zookeeper服务,省略参数则连接本机 ls / #查看根节点 #创建节点 节点类型: 临时节点、永久节点 #创建后，节点类型不能修改。 create /hellozk 123 #创建节点和数据 create -s /hellozk 456 #创建序列化的节点，容易判断顺序。 create -e /hellozk/a 456 #创建临时节点. 临时节点将在退出连接后自动删除 #读取节点 # dataVersion 数据版本号，每次set都会加1; cversion子节点版本号; cZxid Znode创建的事务id; mZxid Znode被修改的事务id; ephemeralOwner为0表示不是临时节点 get /hellozk #得到节点的数据和属性信息. ls2 /hellozk #得到节点的子节点和属性信息 #更新/删除节点 set /hellozk abcd #更新节点的数据, delete /hellozk #删除节点. 必须没有子节点. rmr /hellozk #递归删除,包含子节点 #事件监听 watch 分布式的事件通知功能 ls /mygirls watch #对一个节点的子节点变化事件注册了监听 get /mygirls watch #对节点的数据内容变化注册了监听 stat /mygirls watch #对节点状态改变注册监听 #监听事件只一次有效,后续需要再注册,或者用脚本完成. ls2, stat 都可以watch #quota setquota -n|-b 2 /test # 限制子节点最大个数, 参数二选一, -b限制数据长度. 软限制.只会有日志警告. cat zookeeper.out #可以看到quota的WARN信息 # > zookeeper.out 可以清空文件. listquota /test # 查看quota delquota -n /test #删除quota #history history #显示命令历史. redo 10 #调用历史ID是10的命令.
Java API方式：简单监听机制实现
package zk.mydemo; import org.apache.zookeeper.*; public class Test { public static void main(String[] args) throws Exception { //构造java zk客户端 ZooKeeper zk = new ZooKeeper("slave2:2181,master:2181", 30000, new Watcher() { //事件通知的回调方法 public void process(WatchedEvent e) { System.out.println(e.getPath()); System.out.println(e.getType()); System.out.println(e.getState()); } }); zk.create("/myDemo","第一个DEMO".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); zk.close(); } }
