分布式协调服务框架-zookeeper
分布式及常见问题简介
什么叫分布式系统
由多个计算机组成解决同一个问题的系统。
提高并发，
分布式环境下的常见问题
节点失效
配置信息的创建及更新
分布式锁
zookeeper介绍
Zookeeper 是什么
Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。
Zookeeper 常见应用场景
1.配置中心
2.负载均衡
3.统一命名服务
4.共享锁
zookeeper基本概念
1.集群角色
1) Leader：接受所有Follower的提案请求并统一协调发起提案的股票，负责所有的Follower进行内部的数据交换（同步）
2) Follower: 除了响应本服务器上的读请求外，follower还要处理leader的提议，并在leader提交该提议时在本地也进行提交，同时与Leader进行数据交换（同步）
3）Observer：直接为客户端服务但并不参与提案的投票，同时也与Leader进行数据交换（同步）
2.数据模型
目录结构
3.会话（session）
4.版本 {cversion，dataversion，vclcersion}
5.Watcher
6.Acl权限控制
zookeeper 应用场景详细介绍
|
ZooKeeper典型应用场景一览 |
| 数据发布与订阅（配置中心） |
| 发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 |
注意：在上面提到的应用场景中，有个默认前提是：数据量很小，但是数据更新可能会比较快的场景。 |
| 负载均衡 |
| 这里说的负载均衡是指软负载均衡。在分布式环境中，为了保证高可用性，通常同一个应用或同一个服务的提供方都会部署多份，达到对等服务。而消费者就须要在这些对等的服务器中选择一个来执行相关的业务逻辑，其中比较典型的是消息中间件中的生产者，消费者负载均衡。 |
| 消息中间件中发布者和订阅者的负载均衡，linkedin开源的KafkaMQ和阿里开源的metaq都是通过zookeeper来做到生产者、消费者的负载均衡。这里以metaq为例如讲下： 生产者负载均衡：metaq发送消息的时候，生产者在发送消息的时候必须选择一台broker上的一个分区来发送消息，因此metaq在运行过程中，会把所有broker和对应的分区信息全部注册到ZK指定节点上，默认的策略是一个依次轮询的过程，生产者在通过ZK获取分区列表之后，会按照brokerId和partition的顺序排列组织成一个有序的分区列表，发送的时候按照从头到尾循环往复的方式选择一个分区来发送消息。
消费负载均衡： 在消费过程中，一个消费者会消费一个或多个分区中的消息，但是一个分区只会由一个消费者来消费。MetaQ的消费策略是：
在某个消费者故障或者重启等情况下，其他消费者会感知到这一变化（通过 zookeeper watch消费者列表），然后重新进行负载均衡，保证所有的分区都有消费者进行消费。 |
| 命名服务(Naming Service) |
| 命名服务也是分布式系统中比较常见的一类场景。在分布式系统中，通过使用命名服务，客户端应用能够根据指定名字来获取资源或服务的地址，提供者等信息。被命名的实体通常可以是集群中的机器，提供的服务地址，远程对象等等——这些我们都可以统称他们为名字（Name）。其中较为常见的就是一些分布式服务框架中的服务地址列表。通过调用ZK提供的创建节点的API，能够很容易创建一个全局唯一的path，这个path就可以作为一个名称。 |
| 阿里巴巴集团开源的分布式服务框架Dubbo中使用ZooKeeper来作为其命名服务，维护全局的服务地址列表，点击这里查看Dubbo开源项目。在Dubbo实现中：
服务提供者在启动的时候，向ZK上的指定节点/dubbo/${serviceName}/providers目录下写入自己的URL地址，这个操作就完成了服务的发布。 服务消费者启动的时候，订阅/dubbo/${serviceName}/providers目录下的提供者URL地址， 并向/dubbo/${serviceName} /consumers目录下写入自己的URL地址。 注意，所有向ZK上注册的地址都是临时节点，这样就能够保证服务提供者和消费者能够自动感应资源的变化。 另外，Dubbo还有针对服务粒度的监控，方法是订阅/dubbo/${serviceName}目录下所有提供者和消费者的信息。 |
| 分布式通知/协调 |
| ZooKeeper中特有watcher注册与异步通知机制，能够很好的实现分布式环境下不同系统之间的通知与协调，实现对数据变更的实时处理。使用方法通常是不同系统都对ZK上同一个znode进行注册，监听znode的变化（包括znode本身内容及子节点的），其中一个系统update了znode，那么另一个系统能够收到通知，并作出相应处理 |
总之，使用zookeeper来进行分布式通知和协调能够大大降低系统之间的耦合 |
| 集群管理与Master选举 |
利用ZooKeeper有两个特性，就可以实时另一种集群机器存活性监控系统：
例如，监控系统在 /clusterServers 节点上注册一个Watcher，以后每动态加机器，那么就往 /clusterServers 下创建一个 EPHEMERAL类型的节点：/clusterServers/{hostname}. 这样，监控系统就能够实时知道机器的增减情况，至于后续处理就是监控系统的业务了。
在分布式环境中，相同的业务应用分布在不同的机器上，有些业务逻辑（例如一些耗时的计算，网络I/O处理），往往只需要让整个集群中的某一台机器进行执行，其余机器可以共享这个结果，这样可以大大减少重复劳动，提高性能，于是这个master选举便是这种场景下的碰到的主要问题。 利用ZooKeeper的强一致性，能够保证在分布式高并发情况下节点创建的全局唯一性，即：同时有多个客户端请求创建 /currentMaster 节点，最终一定只有一个客户端请求能够创建成功。利用这个特性，就能很轻易的在分布式环境中进行集群选取了。 另外，这种场景演化一下，就是动态Master选举。这就要用到?EPHEMERAL_SEQUENTIAL类型节点的特性了。 上文中提到，所有客户端创建请求，最终只有一个能够创建成功。在这里稍微变化下，就是允许所有请求都能够创建成功，但是得有个创建顺序，于是所有的请求最终在ZK上创建结果的一种可能情况是这样： /currentMaster/{sessionId}-1 ,?/currentMaster/{sessionId}-2 ,?/currentMaster/{sessionId}-3 ….. 每次选取序列号最小的那个机器作为Master，如果这个机器挂了，由于他创建的节点会马上小时，那么之后最小的那个机器就是Master了。 |
|
| 分布式锁 |
| 分布式锁，这个主要得益于ZooKeeper为我们保证了数据的强一致性。锁服务可以分为两类，一个是保持独占，另一个是控制时序。
|
| 分布式队列 |
| 队列方面，简单地讲有两种，一种是常规的先进先出队列，另一种是要等到队列成员聚齐之后的才统一按序执行。对于第一种先进先出队列，和分布式锁服务中的控制时序场景基本原理一致，这里不再赘述。
第二种队列其实是在FIFO队列的基础上作了一个增强。通常可以在 /queue 这个znode下预先建立一个/queue/num 节点，并且赋值为n（或者直接给/queue赋值n），表示队列大小，之后每次有队列成员加入后，就判断下是否已经到达队列大小，决定是否可以开始执行了。这种用法的典型场景是，分布式环境中，一个大任务Task A，需要在很多子任务完成（或条件就绪）情况下才能进行。这个时候，凡是其中一个子任务完成（就绪），那么就去 /taskList 下建立自己的临时时序节点（CreateMode.EPHEMERAL_SEQUENTIAL），当 /taskList 发现自己下面的子节点满足指定个数，就可以进行下一步按序进行处理了。 |
zookeeper 环境部署
单机部署：
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz tar xf zookeeper-3.4.10.tar.gz cd zookeeper-3.4.10/conf cp zoo_sample.cfg zoo.cfg 修改zoo.cfg配置文件 dataDir=/parker/data/program/data [root@linux-node01 zookeeper-3.4.10]# bin/zkServer.sh start/stop/restart/status 启动： [root@linux-node01 zookeeper-3.4.10]# bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /opt/packages/zookeeper-3.4.10/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 链接：bin/zkcli.sh [-timeout 0 -r ] -server host:port
此时在linux环境下必须要有jdk环境：
下载jdk的包：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
/etc/profile 下面
export JAVA_HOME=/opt/jdk1.8.0_131/ export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
集群：
tar xf zookeeper-3.4.10.tar.gz -C /usr/local/zookeeper/server1/ tar xf zookeeper-3.4.10.tar.gz -C /usr/local/zookeeper/server2/ tar xf zookeeper-3.4.10.tar.gz -C /usr/local/zookeeper/server3/ dataDir=/usr/local/zookeeper/server3/data ==>修改对应的目录 修改clientPort=2181 ==>因为是同一台服务器所以要端口号不一样。 每个zoo.cfg 下面添加： server.1=10.0.0.7:2888:3888 server.2=10.0.0.7:2889:3889 server.3=10.0.0.7:2890:3890 serber.1=10.0.0.7:2888:3888 第一个端口号是 leader 与follower的通信，第二个端口号,leader 选举的端口 并且在每个的server* 目录下，要有一个data目录，data目录下有个myid ，myid 不能相同，该myid文件下面写上1，或2，或3，用于选举master用的。 [root@linux-node01 server1]# pwd /usr/local/zookeeper/server1 [root@linux-node01 server1]# cat data/myid 1 leader 选举算法：paxos
启动：
[root@linux-node01 zookeeper]# ./server1/zookeeper-3.4.10/bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/zookeeper/server1/zookeeper-3.4.10/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 会看到一个zookeeper的目录。 [root@linux-node01 zookeeper]# ./server1/zookeeper-3.4.10/bin/zkCli.sh -server 10.0.0.7:2181 查看角色名称：telnet 10.0.0.7 2181 然后输入 stat，就可以看到一个Mode:leader 等的角色名称。
[root@linux-node01 zookeeper]# telnet 10.0.0.7 2182 Trying 10.0.0.7... Connected to 10.0.0.7. Escape character is '^]'. stat Zookeeper version: 3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT Clients: /10.0.0.7:48628[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x100000000 Mode: leader Node count: 4 Connection closed by foreign host.
客户端操作命令
ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo cmdno printwatches on|off delete path [version] sync path listquota path rmr path get path [watch] create [-s] [-e] path data acl addauth scheme auth quit getAcl path close connect host:port
客户端常用命令
create 命令：
create [-s] [-e] path data acl zk: 10.0.0.7:2182(CONNECTED) 1] create /node_1 1 Created /node_1 [zk: 10.0.0.7:2182(CONNECTED) 2] get /node_1 1 cZxid = 0x100000002 ctime = Mon Jun 19 06:59:21 PDT 2017 mZxid = 0x100000002 mtime = Mon Jun 19 06:59:21 PDT 2017 pZxid = 0x100000002 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 1 numChildren = 0
创建一个有序的节点：
[zk: 10.0.0.7:2182(CONNECTED) 2] create -s /node_1/node_1_1 2 Created /node_1/node_1_10000000000 [zk: 10.0.0.7:2182(CONNECTED) 3] create -s /node_1/node_1_2 3 Created /node_1/node_1_20000000001
创建一个临时节点：
临时节点当session 过期以后会消失。
[zk: 10.0.0.7:2182(CONNECTED) 4] create -e /node_1/node_1_3 4 Created /node_1/node_1_3 [zk: 10.0.0.7:2182(CONNECTED) 5] ls /node_1 [node_1_10000000000, node_1_20000000001, node_1_3] close 退出当前session [zk: 10.0.0.7:2182(CONNECTED) 7] close 2017-06-19 19:00:21,732 [myid:] - INFO [main:ZooKeeper@684] - Session: 0x25cc0a022d50001 closed [zk: 10.0.0.7:2182(CLOSED) 8] 2017-06-19 19:00:21,736 [myid:] - INFO [main-EventThread:ClientCnxn$EventThread@519] - EventThread shut down for session: 0x25cc0a022d50001 [zk: 10.0.0.7:2182(CONNECTED) 0] ls /node_1 [node_1_10000000000, node_1_20000000001] 当session 重新连接以后，前面的临时节点消失。
set path data [version] #重新设置值
[zk: 10.0.0.7:2182(CONNECTED) 2] get /node_1 1 cZxid = 0x100000002 ctime = Mon Jun 19 06:59:21 PDT 2017 mZxid = 0x100000002 mtime = Mon Jun 19 06:59:21 PDT 2017 pZxid = 0x100000008 cversion = 4 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 1 numChildren = 2 [zk: 10.0.0.7:2182(CONNECTED) 3] set /node_1 abc cZxid = 0x100000002 ctime = Mon Jun 19 06:59:21 PDT 2017 mZxid = 0x10000000a mtime = Mon Jun 19 19:05:59 PDT 2017 pZxid = 0x100000008 cversion = 4 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 2 [zk: 10.0.0.7:2182(CONNECTED) 4] get /node_1 abc cZxid = 0x100000002 ctime = Mon Jun 19 06:59:21 PDT 2017 mZxid = 0x10000000a mtime = Mon Jun 19 19:05:59 PDT 2017 pZxid = 0x100000008 cversion = 4 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 3 numChildren = 2
删除节点：
[zk: 10.0.0.7:2182(CONNECTED) 5] delete /node_1
Node not empty: /node_1 [zk: 10.0.0.7:2182(CONNECTED) 7] ls /node_1
[node_1_10000000000, node_1_20000000001] [
zk: 10.0.0.7:2182(CONNECTED) 8] delete /node_1/node_1_20000000001 [ zk: 10.0.0.7:2182(CONNECTED) 9] ls /node_1 [node_1_10000000000]
setquota -n|-b val path
-n :创建的子节点数
-b:可以允许节点存储的数据量
[zk: 10.0.0.7:2182(CONNECTED) 15] setquota -n 2 /node_1 Comment: the parts are option -n val 2 path /node_1 [zk: 10.0.0.7:2182(CONNECTED) 16] create /node_1/node_1_3 abc Created /node_1/node_1_3 [zk: 10.0.0.7:2182(CONNECTED) 17] ls /node_1 [node_1_10000000000, node_1_3] [zk: 10.0.0.7:2182(CONNECTED) 18] create /node_1/node_1_4 abcd Created /node_1/node_1_4 [zk: 10.0.0.7:2182(CONNECTED) 19] ls /node_1 [node_1_10000000000, node_1_3, node_1_4]
设置了 /node_1 下面只能创建两个节点，在控制界面虽然操作成功，但是在zookeeper.out 日志里面会有警告；
2017-06-19 19:17:43,514 [myid:2] - WARN [CommitProcessor:2:DataTree@301] - Quota exceeded: /node_1 count=3 limit=2 2017-06-19 19:18:02,103 [myid:2] - WARN [CommitProcessor:2:DataTree@301] - Quota exceeded: /node_1 count=4 limit=2
zookeeper配置介绍
[root@linux-node01 conf]# cat zoo.cfg # The number of milliseconds of each tick tickTime=2000 #全局时间单位，seesion过期时间 单位（ms） # The number of ticks that the initial # synchronization phase can take initLimit=10 #follower节点启动的时候，follower节点到leader节点同步数据， # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 #心跳检测时间 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/usr/local/zookeeper/server2/data
dataLogDir= #默认在data下，一般单独写在一块磁盘上面 # the port at which the clients will connect clientPort=2182 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=10.0.0.7:2888:3888 server.2=10.0.0.7:2889:3889 server.3=10.0.0.7:2890:3890
节点配置信息：
./server2/zookeeper-3.4.10/bin/zkCli.sh -server 10.0.0.7:2182
[zk: 10.0.0.7:2182(CONNECTED) 0] ls2 /node_1 [node_1_10000000000, node_1_3, node_1_4] cZxid = 0x100000002 #节点创建时的事务ID ctime = Mon Jun 19 06:59:21 PDT 2017 #节点创建时间 mZxid = 0x10000000a #节点修改的事务ID mtime = Mon Jun 19 19:05:59 PDT 2017 #节点修改时间 pZxid = 0x100000011 #子节点的事务ID cversion = 7 #当前子节点，如果更新过或者修改过，会改变 dataVersion = 1 #节点值改变以后，dataVersion会改变 aclVersion = 0 #节点权限发生改变，值也会改变 ephemeralOwner = 0x0 #创建临时节点的session dataLength = 3 #数据的长度 numChildren = 3 #子节点的数量
临时节点下，不能创建子节点。
zookeeper 管理工具 zkdash
参考文档：https://github.com/ireaderlab/zkdash 获取包： wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tar.xz wget https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9 --no-check-certificate wget http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz --no-check-certificate 1 安装python环境 tar xf Python-2.7.13.tar.gz cd Python-2.7.13 ./configure --prefix=/usr/local/python27 make && make install vi /etc/profile PATH=$PATH:$HOME/bin PATH=$PATH:$HOME/bin:/usr/local/python27/bin source /etc/profile mv /usr/bin/python /usr/bin/python2.6.6 ln -s /usr/local/python27/bin/python /usr/bin/python tar xf setuptools-0.6c11.tar.gz cd setuptools-0.6c11 python setup.py build python setup.py install tar xf pip-9.0.1.tar.gz python setup.py install git clone https://github.com/ireaderlab/zkdash.git cd zkdash/ pip install -r requirements.txt vi conf/conf.yml ===>修改数据库信息 python ./bin/syncdb.py python init.py -port=8888 nohup python init.py -port=8888 >/dev/null 2>&1 & 安装与运行 安装步骤 安装并运行mysql 安装python2.7, 版本最好 >= 2.7.6 下载zkdash ``` git clone https://github.com/ireaderlab/zkdash.git ``` 安装依赖项 cd zkdash pip install -r requirements.txt 设置配置文件 根据需要修改当前目录下./conf/conf.yml中相关配置信息，配置文件详细说明见后面 同步数据库表结构 首先创建数据库zkdash，并设置数据库的用户名和密码 将配置文件的数据库的用户名和密码进行修改 DATABASE: db: 'zkdash' host: '192.168.1.1' # 修改为你的数据库地址 port: 3306 # 设置端口号 user: 'tokyo' # 修改用户名 passwd: 'tokyo!' # 修改密码 设置完成后进行初始化数据库 cd zkdash python ./bin/syncdb.py # 注意执行路径必须为./bin/syncdb.py 说明：数据库使用mysql，创建表结构前请先配置数据库连接信息 运行 cd zkdash python init.py -port=8888 说明：初次运行zkdash时需要到zookeeper管理菜单下增加监控的zookeeper集群ip信息 配置文件说明 配置文件详细说明 数据库配置项(DATABASE) db: 数据库名称 host: ip地址 port: 端口号 user: 用户名 passwd: 密码 全局配置项 USE_QCONF: 是否通过QConf获取zookeeper数据（使用该项可以提高树形展示配置信息的响应速度） 与QConf的搭配使用 反馈服务器地址：http://ip:port/api/v1/feedback（Agent同步状况查看依赖此反馈信息） 注意事项 新增节点需要先指定父节点，并且只能逐级增加 当设置使用QConf获取zookeeper数据时，zookeeper管理菜单下的zookeeper集群名称需要与QConf 客户端Agent配置文件的idc名称一致
界面展示：
浙公网安备 33010602011771号