Zookeeper

Zookeeper总结

1、什么是Zookeeper？

　　Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。

 

　　1、zookeeper是为别的分布式程序服务的

　　2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）

　　3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等

　　4、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：

　　管理(存储，读取)用户程序提交的数据（类似namenode中存放的metadata）； 
　　并为用户程序提供数据节点监听服务；

　　1.1 Zookeeper集群机制

　　　　Zookeeper集群的角色： Leader 和 follower 
　　　　只要集群中有半数以上节点存活，集群就能提供服务

　　1.2 Zookeeper特性

　　1、Zookeeper：一个leader，多个follower组成的集群

　　2、全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的

　　3、分布式读写，更新请求转发，由leader实施

　　4、更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行

　　5、数据更新原子性，一次数据更新要么成功，要么失败

　　6、实时性，在一定时间范围内，client能读到最新数据

2、Zookeeper应用场景

　　统一命名服务

       　　分布式环境下，经常需要对应用/服务进行统一命名，便于识别不同服务。类似于域名与ip之间对应关系，域名容易记住。通过名称来获取资源或服务的地址，提供者等信息按照层次结构组织服务/应用名称可将服务名称以及地址信息写到Zookeeper上，客户端通过Zookeeper获取可用服务列表类。

　　配置管理

      　　 分布式环境下，配置文件管理和同步是一个常见问题。一个集群中，所有节点的配置信息是一致的，比如Hadoop。对配置文件修改后，希望能够快速同步到各个节点上配置管理可交由Zookeeper实现。可将配置信息写入Zookeeper的一个znode上。各个节点监听这个znode。一旦znode中的数据被修改，zookeeper将通知各个节点。

　　集群管理

       　　分布式环境中，实时掌握每个节点的状态是必要的。可根据节点实时状态作出一些调整。Zookeeper可将节点信息写入Zookeeper的一个znode上。监听这个znode可获取它的实时状态变化。典型应用比如Hbase中Master状态监控与选举。

　　分布式通知/协调

       　　分布式环境中，经常存在一个服务需要知道它所管理的子服务的状态。例如，NameNode须知道各DataNode的状态，JobTracker须知道各TaskTracker的状态。心跳检测机制和信息推送也是可通过Zookeeper实现。

　　分布式锁

       　　Zookeeper是强一致的。多个客户端同时在Zookeeper上创建相同znode，只有一个创建成功。Zookeeper实现锁的独占性。多个客户端同时在Zookeeper上创建相同znode ，创建成功的那个客户端得到锁，其他客户端等待。Zookeeper 控制锁的时序。各个客户端在某个znode下创建临时znode （类型为CreateMode. EPHEMERAL _SEQUENTIAL），这样，该znode可掌握全局访问时序。

　　分布式队列

      　　 两种队列。当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达，这种是同步队列。队列按照 FIFO 方式进行入队和出队操作，例如实现生产者和消费者模型。（可通过分布式锁实现）
      　　 同步队列。一个job由多个task组成，只有所有任务完成后，job才运行完成。可为job创建一个/job目录，然后在该目录下，为每个完成的task创建一个临时znode，一旦临时节点数目达到task总数，则job运行完成。

3、Zookeeper环境搭建

　　环境要求:必须要有jdk环境,本次讲课使用jdk1.8

　　3.1结构

　　　　一共三个节点
　　　　(zk服务器集群规模不小于3个节点),要求服务器之间系统时间保持一致。

　　3.2上传zk并且解压
　　　　进行解压： tar -zxvf zookeeper-3.4.6.tar.gz
　　　　重命名： mv zookeeper-3.4.6 zookeeper

　　3.3 修改zookeeper环境变量

　　　　vi /etc/profile

　　　　export JAVA_HOME=/opt/jdk1.8.0_71

　　　　export ZOOKEEPER_HOME=/usr/local/zookeeper

　　　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

　　　　export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

　　　　source /etc/profile

　　3.4 修改zoo_sample.cfg文件
　　　　cd /usr/local/zookeeper/conf
　　　　mv zoo_sample.cfg zoo.cfg
　　　　修改conf: vi zoo.cfg 修改两处
　　　　（1） dataDir=/usr/local/zookeeper/data（注意同时在zookeeper创建data目录）
　　　　（2）最后面添加
　　　　　　server.0=bhz:2888:3888
　　　　　　server.1=hadoop1:2888:3888
　　　　　　server.2=hadoop2:2888:3888

　　3.5 创建服务器标识
　　　　服务器标识配置：
　　　　创建文件夹： mkdir data
　　　　创建文件myid并填写内容为0： vi
　　　　myid (内容为服务器标识 ： 0)

　　3.6 复制zookeeper

　　　　进行复制zookeeper目录到hadoop01和hadoop02
　　　　还有/etc/profile文件
　　　　把hadoop01、 hadoop02中的myid文件里的值修改为1和2
　　　　路径(vi /usr/local/zookeeper/data/myid)

　　3.7 启动zookeeper
　　　　启动zookeeper：
　　　　路径： /usr/local/zookeeper/bin
　　　　执行： zkServer.sh start
　　　　(注意这里3台机器都要进行启动)
　　　　状态： zkServer.sh
　　　　status(在三个节点上检验zk的mode,一个leader和俩个follower)

　　3.8常用命令

　　　　zkServer.sh status 查询状态

 

4、Zookeeper客户端

　　ZooKeeper命令行工具类似于Linux的shell环境，不过功能肯定不及shell啦，但是使用它我们可以简单的对ZooKeeper进行访问，数据创建，数据修改等操作.  使用 zkCli.sh -server 127.0.0.1:2181 连接到 ZooKeeper 服务，连接成功后，系统会输出 ZooKeeper 的相关环境以及配置信息。

5、Windows单机Zookeeper

　　　　5.1 修改文件名为zoo.cfg

　　　　5.2 新建data文件夹并修改文件zoo.cfg中dataDir路径

　　　　5.3 开启zkService.cmd命令脚本

　　　　　　不能关闭！！

　　　　5.4 开启zkCli.cmd命令脚本进行命令操作

 

6、命令行工具简单操作

　　6.1 ls / 显示根目录下、文件

  　　　　ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容

　　6.2 ls2 / 显示根目录下、文件

  　　　　ls2 / 查看当前节点数据并能看到更新次数等数据

　　6.3 create /zk "test" 创建文件，并设置初始内容

  　　　　create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串

　　6.4 get /zk 获取文件内容

   　　　　get /zk 确认 znode 是否包含我们所创建的字符串

　　6.5 set /zk "zkbak" 修改文件内容

　　　　set /zk "zkbak" 对 zk 所关联的字符串进行设置

　　6.6 delete /zk 删除文件

　　　　delete /zk 将刚才创建的 znode 删除

　　6.7 quit 退出客户端

　　　　quit直接退出命令窗口

　　6.8 help 帮助命令

7、Java操作Zookeeper

　　7.1 Zookeeper说明

　　创建节点(znode) 方法:
　　　　create:提供了两套创建节点的方法，同步和异步创建节点方式。
　　同步方式:
　　　　参数1，节点路径《名称) : InodeName (不允许递归创建节点，也就是说在父节点不存在的情况下，不允许创建子节点)
　　　　参数2，节点内容: 要求类型是字节数组(也就是说，不支持序列化方式，如果需要实现序列化，可使用java相关序列化框架，如Hessian、Kryo框架)
　　　　参數3，节点权限: 使用Ids.OPEN_ACL_UNSAFE开放权限即可。(这个参数一般在权展没有太高要求的场景下，没必要关注)
　　　　参数4，节点类型: 创建节点的类型: CreateMode，提供四种首点象型
　　　　　　PERSISTENT(持久节点)
　　　　　　PERSISTENT SEQUENTIAL(持久顺序节点)

　　　　　　EPHEMERAL(临时节点）
　　　　EPHEMERAL SEQUENTAL(临时顺序节点)

 

　　7.2 maven引入依赖

　　

　　7.3 Zookeeper客户端连接