zookeeper 安装和配置
ZooKeeper安装与配置
一. 单机安装、配置：
1. 下载zookeeper二进制安装包
下载地址：http://apache.dataguru.cn/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz
2.解压zookeeper安装包
把zookeeper-3.4.3.tar.gz文件存放在/home/hadoop目录下，进行解压：
hadoop@ubuntu:~$ sudo tar -zxvf zookeeper-3.4.3.tar.gz hadoop@ubuntu:~$ chown -R hadoop:hadoop zookeeper-3.4.3
3.设置环境变量
在/etc/profile，/home/hadoop/.bashrc文件中添加如下红色信息
#set java environment
ZOOKEEPER_HOME=/home/hadoop/zookeeper-3.4.3
MAHOUT_HOME=/home/hadoop/mahout-distribution-0.7
PIG_HOME=/home/hadoop/pig-0.9.2
HBASE_HOME=/home/hadoop/hbase-0.94.3
HIVE_HOME=/home/hadoop/hive-0.9.0
HADOOP_HOME=/home/hadoop/hadoop-1.1.1
JAVA_HOME=/home/hadoop/jdk1.7.0
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PIG_HOME/bin:$MAHOUT_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/conf:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$ZOOKEEPER_HOME/lib:$HBASE_HOME/lib:$MAHOUT_HOME/lib:$PIG_HOME/lib:$HIVE_HOME/lib:$JAVA_HOME/lib/tools.jar
export ZOOKEEPER_HOME
export MAHOUT_HOME
export PIG_HOME
export HBASE_HOME
export HADOOP_HOME
export JAVA_HOME
export HIVE_HOME
export PATH
export CLASSPATH
4.配置
配置文件存放在$ZOOKEEPER_HOME/conf/目录下，将zoo_sample.cfd文件名称改为zoo.cfg, 缺省的配置内容如下：
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/home/hadoop/zookeeper-3.4.3/data #这是我修改后的 # the port at which the clients will connect clientPort=2181 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1
配置说明：
tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
5.启动zookeeper
当这些配置项配置好后，你现在就可以启动zookeeper了：
hadoop@ubuntu:~/ netstat -at|grep 2181 #查看zookeeper端口
hadoop@ubuntu:~/ netstat -nat #查看端口信息
hadoop@ubuntu:~/zookeeper-3.4.3/bin$ ./zkServer.sh start #启动
hadoop@ubuntu:~/zookeeper-3.4.3/bin$ jps #查看启动的服务名称
hadoop@ubuntu:~/zookeeper-3.4.3/bin$ ./zkServer.sh stop #关闭
启动后要检查 Zookeeper 是否已经在服务，可以通过 netstat -at|grep 2181 命令查看是否有 clientPort 端口号在监听服务。
1 watcher种类和事件种类
1. zookeeper实例化时注入的默认Watcher
2. dataWatchers 一个Map<string Set<Watcher>>数据结构，保存调用getData时 注入的Watcher或者调用exist时path指定的节点存在
3. existWatchers 一个Map<string Set<Watcher>>数据结构，保存调用exits时对应的path节点不存在条件下注入的Watcher
4. childWatchers一个Map<string Set<Watcher>>数据结构，保存调用getChildren 时注入的Watcher
默认Watcher主要是处理连接建立成功，连接断了-会重连，SESSION失效-这个需要重新实例zookeeper对象这些事件
其他的三个Watcher都是MAP<String, SET<Watcher>>结构的，MAP中的KEY是zookeeper数据路径，当调用
exists，getData，getChildren函数时会需要传入一个Watcher，对应的path上的数据发生改变时，zookeeper服务器
会发送NOTIFY包给客户端，客户端在收到NOTIFY包后根据包指明的path和事件类别回调有关Watcher的process函数。
所有需要系统的管理这些Watcher，故分成三个MAP来管理这些Watcher。
当调用getData时将注入的Watcher加入到dataWatchers.get(path)的SET里面，调用childWatchers时一样。需要
重点注意的是当调用exists时，如果path不存在则加入到existWatchers.get(path)的SET里面，否则加入到
dataWatchers.get(path)的SET里面，这样做的原因是为了保持和客户端接收到NOTIFY包时处理一致。
Watch事件类型：
ZOO_CREATED_EVENT：节点创建事件，需要watch一个不存在的节点，当节点被创建时触发，此watch通过zoo_exists()设置
ZOO_DELETED_EVENT：节点删除事件，此watch通过zoo_exists()或zoo_get()设置
ZOO_CHANGED_EVENT：节点数据改变事件，此watch通过zoo_exists()或zoo_get()设置
ZOO_CHILD_EVENT：子节点列表改变事件，此watch通过zoo_get_children()或zoo_get_children2()设置
ZOO_SESSION_EVENT：会话失效事件，客户端与服务端断开或重连时触发
ZOO_NOTWATCHING_EVENT：watch移除事件，服务端出于某些原因不再为客户端watch节点时触发
watch事件与zookeeper读操作的对应关系图：
2 watcher api
Watcher是Zookeeper用来实现distribute lock, distribute configure, distribute queue等应用的主要手段。要监控data_tree上的任何节点的变化（节点本身的增加，删除，数据修改，以及孩子的变化）都可以在获取该数据时注册一个Watcher，这有很像Listener模式。一旦该节点数据变化，Follower会发送一个notification response，client收到notification响应，则会查找对应的Watcher并回调他们。 有以下接口可以注册Watcher：
1. Stat exists(final String path, Watcher watcher)
2. Stat exists(String path, boolean watch)
3. void exists(String path, boolean watch, StatCallback cb, Object ctx)
4. void exists(final String path, Watcher watcher, StatCallback cb, Object ctx)
5. byte[] getData(final String path, Watcher watcher, Stat stat)
6. byte[] getData(String path, boolean watch, Stat stat)
7. void getData(final String path, Watcher watcher, DataCallback cb, Object ctx)
8. void getData(String path, boolean watch, DataCallback cb, Object ctx)
9. List<string> getChildren(final String path, Watcher watcher)
10. List<string> getChildren(String path, boolean watch)
11. void getChildren(final String path, Watcher watcher,ChildrenCallback cb, Object ctx)
如果参数需要传递watcher,则可以自己定义Watcher进行回调处理。如果是Boolean型变量，当为true时，则使用系统默认的Watcher，系统默认的Watcher是在zookeeper的构造函数中传递的Watcher。如果Watcher为空或者Boolean变量时为false，则表明不注册Watcher。如果获取数据后不需要关注该数据是否变化，就不需要注册Watcher。上面没有返回值的都是异步调用模式。需要注意的是，一旦Watcher被调用后，将会从map中删除，如果还需要关注数据的变化，需要再次注册。 Watcher原理 要搞清楚Watcher的原理，让我们看看Watcher的工作流程。
Watcher的使用与注意事项
Watcher需要每次都要注册。
并不是Watcher的节点被修改n次，客户端注册就会被通知n次。如果watcher的节点频繁被修改，有可能修改了10次，客户端被通知8次。如果client与server连接状态发生改变，watcher总是会被通知。
