zookeeper
zookeeper 是一个分布式协调服务，为用户的分布式应用程序提供协调服务。
使用场景/作用：为集群的节点提供监听，保存一定的配置数据。zookeeoer本身就是分布式的程序。
++可以为客户管理少量数据kv++
++/aa "hello" ++
++可以为客户端监听指定数据节点的状态并在数据节点发生变化时，通知客户端++
1.可以作为服务器与客户端之间的第三方，监测客户端或者服务器哪些节点的状态。客户端/服务端会在zookeeper上注册自己信息。
2.服务程序的高可用，服务器主从选举，主从协调。来决定哪个节点提供服务。ip大的为master
3.多个节点的配置信息为了保持一致。保存特定的数据。
zookeeper集群机制，半数机制，集群中半数以上机器存活，集群可用。
选举投票主从机制。所有节点同步数据。leader ,follower
节点类型：短暂的(ephemeral)断开连接自己删除 | 进入客户端 create -e 节点名，持久节点(prisistent)
目前认知：zookeeper集群的每太机器的节点跟目录保持一致的 / 下面可以创建子节点和保存数据。 通过连接zookeeper客户端来操作。
zookeeper 集群搭建：
修改zoo.cfg文件
dataDir=文件夹 管理数据保存位置
三个节点为例 ： 2888端口 leader和flower之间通信 3888 投票
server.1=hdp-01:2888:3888
server.2=hdp-02:2888:3888
server.3=hdp-03:2888:3888
到hdp-01 新建dataDir 并在目录中生成一个文件myid,内容为1 其他节点类似
//zookeeper java 客户端
//分布式应用系统使用zookeeper 服务器上下线感知：
服务器：
package cn.itcast.bigdata.zkdist;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
public class DistributedServer {
private static final String connectString = "mini1:2181,mini2:2181,mini3:2181";
private static final int sessionTimeout = 2000;
private static final String parentNode = "/servers";
private ZooKeeper zk = null;
/**
* 创建到zk的客户端连接
*
* @throws Exception
*/
public void getConnect() throws Exception {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知后的回调函数（应该是我们自己的事件处理逻辑）
System.out.println(event.getType() + "---" + event.getPath());
try {
zk.getChildren("/", true);
} catch (Exception e) {
}
}
});
}
/**
* 向zk集群注册服务器信息
*
* @param hostname
* @throws Exception
*/
public void registerServer(String hostname) throws Exception {
String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname + "is online.." + create);
}
/**
* 业务功能
*
* @throws InterruptedException
*/
public void handleBussiness(String hostname) throws InterruptedException {
System.out.println(hostname + "start working.....");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
// 获取zk连接
DistributedServer server = new DistributedServer();
server.getConnect();
// 利用zk连接注册服务器信息
server.registerServer(args[0]);
// 启动业务功能
server.handleBussiness(args[0]);
}
}
客服端：
package cn.itcast.bigdata.zkdist;
import java.util.ArrayList;
import java.util.List;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
public class DistributedClient {
private static final String connectString = "mini1:2181,mini2:2181,mini3:2181";
private static final int sessionTimeout = 2000;
private static final String parentNode = "/servers";
// 注意:加volatile的意义何在？
private volatile List<String> serverList;
private ZooKeeper zk = null;
/**
* 创建到zk的客户端连接
*
* @throws Exception
*/
public void getConnect() throws Exception {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知后的回调函数（应该是我们自己的事件处理逻辑）
try {
//重新更新服务器列表，并且注册了监听
getServerList();
} catch (Exception e) {
}
}
});
}
/**
* 获取服务器信息列表
*
* @throws Exception
*/
public void getServerList() throws Exception {
// 获取服务器子节点信息，并且对父节点进行监听
List<String> children = zk.getChildren(parentNode, true);
// 先创建一个局部的list来存服务器信息
List<String> servers = new ArrayList<String>();
for (String child : children) {
// child只是子节点的节点名
byte[] data = zk.getData(parentNode + "/" + child, false, null);
servers.add(new String(data));
}
// 把servers赋值给成员变量serverList，已提供给各业务线程使用
serverList = servers;
//打印服务器列表
System.out.println(serverList);
}
/**
* 业务功能
*
* @throws InterruptedException
*/
public void handleBussiness() throws InterruptedException {
System.out.println("client start working.....");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
// 获取zk连接
DistributedClient client = new DistributedClient();
client.getConnect();
// 获取servers的子节点信息（并监听），从中获取服务器信息列表
client.getServerList();
// 业务线程启动
client.handleBussiness();
}
}
