Fork me on GitHub

【Zookeeper】集群环境搭建

一、概述

1.1 Zookeeper的角色

  1. 领导者（leader），负责进行投票的发起和决议，更新系统状态
  2. 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票
  3. Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度
  4. 客户端（client），请求发起方Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。
  5. 为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。

1.2 Zookeeper的读写机制

  • Zookeeper是一个主多个server组成的集群
  • 一个leader，多个follower
  • 每个server保存一份数据副本
  • 全局数据一致
  • 分布式读写
  • 更新请求转发，由leader实施

1.3 Zookeeper的保证

  • 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
  • 数据更新原子性，一次数据更新要么成功，要么失败
  • 全局唯一数据视图，client无论连接到哪个server，数据视图都是一致的
  • 实时性，在一定事件范围内，client能读到最新数据

1.4 Zookeeper节点数据操作流程

Zookeeper leader 选举　
半数通过 3台机器 挂一台 2>3/2 ,4台机器 挂2台 2！>4/2

  • A提案说，我要选自己，B你同意吗？C你同意吗？B说，我同意选A；C说，我同意选A。(注意，这里超过半数了，其实在现实世界选举已经成功了。但是计算机世界是很严格，另外要理解算法，要继续模拟下去。)
  • 接着B提案说，我要选自己，A你同意吗；A说，我已经超半数同意当选，你的提案无效；C说，A已经超半数同意当选，B提案无效。
  • 接着C提案说，我要选自己，A你同意吗；A说，我已经超半数同意当选，你的提案无效；B说，A已经超半数同意当选，C的提案无效。
  • 选举已经产生了Leader，后面的都是follower，只能服从Leader的命令。而且这里还有个小细节，就是其实谁先启动谁当头。

二、Zookeeper 集群环境搭建　　

先准备一台Linux环境(此处用虚拟机演示)
一共三个节点 (zk服务器集群规模不小于3个节点),要求服务器之间系统时间保持一致。

2.1 安装jdk运行jdk环境

上传jdk1.8安装包

2.2 安装jdk1.8环境变量

vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_181
export ZOOKEEPER_HOME=/usr/local/zookeeper
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

#刷新profile文件
source /etc/profile

2.3 安装配置Zookeeper

# 1. 下载
wget http://www.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
# 2. 解压Zookeeper安装包
tar -zxvf zookeeper-3.4.10.tar.gz 
# 3. 修改Zookeeper文件夹名称
mv zookeeper-3.4.10 zookeeper
# 4. 修改zoo_sample.cfg文件 
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
# 修改conf: vi zoo.cfg 修改两处
# 4.1 注意同时在zookeeper创建data目录）
dataDir=/usr/local/zookeeper/data 
# 4.2 最后面添加
server.0=192.168.140.137:2888:3888
server.1=192.168.140.138:2888:3888
server.2=192.168.140.139:2888:3888
# 5. 创建服务器标识 ,服务器标识配置：
# 创建文件夹：
mkdir data
# 创建文件myid并填写内容为0：
vi myid

2.4 克隆虚拟机

#克隆虚拟机修改Zookeeper服务标识
#还有/etc/profile文件
#把data中的 myid 文件里的值修改为 1 和 2
#路径
vi /usr/local/zookeeper/data/myid

# 关闭所有防火墙
systemctl stop firewalld

2.5 运行测试

# 启动zookeeper
cd /usr/local/zookeeper/bin
# 运行命令
zkServer.sh start

# 查询状态
zkServer.sh  status #(在三个节点上检验zk的mode,一个leader和俩个follower)

三、Zookeeper配置文件介绍

# The number of milliseconds of each tick 
tickTime=2000 
 
# The number of ticks that the initial  
# synchronization phase can take 
initLimit=10 
 
# The number of ticks that can pass between  
# sending a request and getting an acknowledgement 
syncLimit=5 
 
# the directory where the snapshot is stored. 
# do not use /tmp for storage, /tmp here is just  
# example sakes. 
dataDir=/home/myuser/zooA/data 
 
# the port at which the clients will connect 
clientPort=2181 
 
# ZooKeeper server and its port no. # ZooKeeper ensemble should know about every other machine in the ensemble # specify server id by creating 'myid' file in the dataDir # use hostname instead of IP address for convenient maintenance
server.1=127.0.0.1:2888:3888 
server.2=127.0.0.1:2988:3988  
server.3=127.0.0.1:2088:3088 
 
# 
# Be sure to read the maintenance section of the  
# administrator guide before turning on autopurge. 
# 
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance 
# 
# The number of snapshots to retain in dataDir 
# autopurge.snapRetainCount=3 
# Purge task interval in hours 
# Set to "0" to disable auto purge feature  <br>
#autopurge.purgeInterval=1 
dataLogDir=/home/myuser/zooA/log
  • tickTime：心跳时间，为了确保连接存在的，以毫秒为单位，最小超时时间为两个心跳时间
  • initLimit：多少个心跳时间内，允许其他server连接并初始化数据，如果ZooKeeper管理的数据较大，则应相应增大这个值
  • clientPort：服务的监听端口
  • dataDir：用于存放内存数据库快照的文件夹，同时用于集群的myid文件也存在这个文件夹里（注意：一个配置文件只能包含一个dataDir字样，即使它被注释掉了。）
  • dataLogDir：用于单独设置transaction log的目录，transaction log分离可以避免和普通log还有快照的竞争
  • syncLimit：多少个tickTime内，允许follower同步，如果follower落后太多，则会被丢弃。
  • server.A=B：C：D：
    • A是一个数字,表示这个是第几号服务器,B是这个服务器的ip地址
    • C第一个端口用来集群成员的信息交换,表示的是这个服务器与集群中的Leader服务器交换信息的端口
    • D是在leader挂掉时专门用来进行选举leader所用
posted @ 2019-09-17 15:23  这个世界~  阅读(165)  评论(0)  编辑  收藏  举报