Zookeeper

一、相关概念

分布式系统：是一个硬件或软件组件分布在网络中的不同的计算机上，彼此间仅通过消息传递进行通信和协作的系统。
特征：分布性、并发性、缺乏全局时钟、故障必然会发生
典型问题：通信异常、网络分区、三态（成功、失败、超时）、节点故障

CAP：

P：分区容错性；
- CP：一致性；
- AP：可用性

BASE：

BA：基本可用
S：软状态
E：最终一致性

保证分布式系统的一致性多种协议：

2PC：2 Phase-Commit，请求和执行
3PC：3 Phase-Commit，CanCommit->PreCommit->DoCommit
Paxos：Leslie Lamport，1990年提出
Google Chubby：分布式锁服务，GFS/BigTable都用到了chubby，分布式协作、元数据存储、Master选举

HDFS/HBase, Zookeeper：

zookeeper是一个开源的分布式协调服务，由知名互联网公司Yahoo创建，它是Chubby的开源实现；换句话将，zk是一个经典的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列

二、zk中的基本术语

集群角色：Leader, Follower, Oberserver
- Leader：选举产生，提供读/写服务；
- Follower：参与选举，可被选举，提供读服务；
- Observer：参与选举，不可被选举，提供读服务
会话：zk中，客户端<-->服务端，tcp长连接
数据节点（ZNode）：即zk数据模型中的数据单元；zk的数据都存储于内存中，数据模型为树状结构(ZNode Tree)；每个ZNode都会保存自己的数据于内存中；
- 持久节点：仅显式删除才消失
- 临时节点：会话中止即自动消失
版本（version）：zk会为每个ZNode维护一个称为Stat的数据结构，记录了当前ZNode的三个数据版本
- version：当前版本
- cversion：当前ZNode的子节点的版本
- aversion：当前ZNode的ACL的版本
ACL：zk使用ACL机制进行权限控制
- CREATE , READ , WRITE, ADMIN
事件监听器（Watcher）：zk上由用户指定的触发机制，在某些事件产生时，zk能够将其通知给相关的客户端
ZAB协议：Zookeeper Atomic Boradcast, zk原子广播协议；用于在支持Leader奔溃恢复机制，重新选举Leader，而且还确保数据的完整性和一致性
- ZAB协议中存在三种状态：
  - Looking
  - Following
  - Leading
- 四个阶段：
  - 选举：election
  - 发现：discovery
  - 同步：sync
  - 广播：broadcast

三、部署zookeeper

三种部署方式：单机模式、伪分布式模式、分布式模式

安装jdk

# yum install java-1.7.0-openjdk-devel -y
# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr
# . /etc/profile.d/java.sh
# java -version

1、单机模式

~]# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
~]# mkdir /data/zookeeper/ -pv
~]# tar xf zookeeper-3.4.9.tar.gz -C /usr/local/
~]# cd /usr/local/
local]# ln -sv zookeeper-3.4.9 zookeeper
local]# cd zookeeper/conf/
conf]# cp zoo_sample.cfg zoo.cfg
conf]# vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
#maxClientCnxns=60
server.1=192.168.0.17:2888:3888
#autopurge.snapRetainCount=3
#autopurge.purgeInterval=1
conf]# cd ../bin/
bin]# ./zkServer.sh start

四字命令：监控zk

~]# telnet localhost 2181
ruok
stat
srvr
conf
cons
wchs
envi
...

cli命令

~]# cd /usr/local/zookeeper/bin/
bin]# ./zkCli.sh
create
ls
ls2
stat
delete
rmr
get
set
...

配置参数

基本配置参数：
clinetPort=2181
dataDir=/data/zookeeper
dataLogDir：事务日志文件路径；
tickTime
存储配置参数：
preAllocSize：为事务日志预先分配的磁盘空间量，默认65535KB
snapCount：每多少次事务后执行一次快照操作，每事务的平均大小在100字节左右
autopurge.snpRetainCount：保留自动快照数
autopurge.purgeInterval：自动purge操作的时间间隔，0表示不启动
fsync.warningthiresholdms：zk进行事务日志的fsync操作时消耗的时长报警阈值
weight.X=N：判断quorum时投票权重，默认为1
网络配置参数：
maxClientCnxns：每客户端IP的最大并发连接数
clientPortAddress：zk监听的IP地址
minSessionTimeout：会话的最短超时时长
maxSessionTimeout：会话的最大超时时长
集群配置参数：
initLimit：Follower连入Leader并完成数据同步的时长
syncLimit：心跳检测的最大延迟
leaderServers：默认zk的leader接受读写请求，额外还要负责协调各Follower发来的事务等，因此，为使得Leader集中处理zk集群内部信息，建议不让Leader直接提供服务
cnxTimeout：Leader选举期间，各服务器创建TCP连接的超时时长
ellectionAlg：选举算法，目前仅支持FastLeaderElection算法一种
server.id=[hostname]:port:port[:observer]：集群内各服务器的属性参数
	第一个port：follwer与leader进行通信和数据同步时所使用的端口
	第二个port：leader选举时使用的端口
	observer：定义指定的服务器为observer

2、分布式模式

zk1：

###############node01:###############
~]# echo 1 > /data/zookeeper/myid
~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=192.168.0.17:2888:3888
server.2=192.168.0.18:2888:3888
server.3=192.168.0.19:2888:3888
~]# /usr/local/zookeeper/bin/zkServer.sh start

zk2：

###############node02:###############
~]# echo 2 > /data/zookeeper/myid
~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=192.168.0.17:2888:3888
server.2=192.168.0.18:2888:3888
server.3=192.168.0.19:2888:3888
~]# /usr/local/zookeeper/bin/zkServer.sh start

zk3：

###############node03:###############
~]# echo 3 > /data/zookeeper/myid
~]# vim /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
clientPort=2181
server.1=192.168.0.17:2888:3888
server.2=192.168.0.18:2888:3888
server.3=192.168.0.19:2888:3888
~]# /usr/local/zookeeper/bin/zkServer.sh start

注意：运行为集群模式时，每个节点在其数据目录中应该有一个myid文件，其内容仅为server的id

四、典型应用场景

数据发布/订阅
负载均衡
命名服务
分布式协调/通知
集群管理
Master选举

posted @ 2019-01-13 23:42 生生不息.连绵不绝阅读(364) 评论(0) 编辑收藏举报

刷新页面返回顶部

Welcome MyBlog~

Personal Technology Sharing Station

Zookeeper

一、相关概念

二、zk中的基本术语

三、部署zookeeper

1、单机模式

2、分布式模式

四、典型应用场景

公告