zookeeper集群搭建

前言:本人通过mac m1搭建,使用虚拟机,jdk等环境均为arm架构

1,Zookeeper概述

1.1 简要

  ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。   Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务

 

序号功能
1 为别的分布式程序服务的
2 本身就是一个分布式程序
3 主从协调 服务器节点动态上下线 统一配置管理 分布式共享锁 统一名称服务
4 管理(存储,读取)用户程序提交的数据 并为用户程序提供数据节点监听服务

 

1.2 Zookeeper的集群机制

 Zookeeper是为其他分布式程序提供服务的,所以本身自己不能随便就挂了,所以zookeeper自身的集群机制就很重要。zookeeper的集群机制采用的是半数存活机制,也就是整个集群节点中有半数以上的节点存活,那么整个集群环境可用。这也就是说们的集群节点最好是奇数个节点。

 

Zookeeper集群节点的角色

Leader

Leader服务器是Zookeeper集群工作的核心,其主要工作如下

  1. 事务请求的唯一调度和处理者,保证集群事务处理的顺序性。

  2. 集群内部各服务器的调度者

 

Follower

  Follower是Zookeeper集群的跟随者,其主要工作如下

  1. 处理客户端非事务性请求(读取数据),转发事务请求给Leader服务器。

  2. 参与事务请求Proposal的投票。

  3. 参与Leader选举投票。

Observer   

  Observer充当观察者角色,观察Zookeeper集群的最新状态变化并将这些状态同步过来,其对于非事务请求可以进行独立处理,对于事务请求,则会转发给Leader服务器进行处理。Observer不会参与任何形式的投票,包括事务请求Proposal的投票和Leader选举投票

2,集群环境准备

通过上面的介绍我们了解到zookeeper的集群环境应该配置奇数个节点,所以我们在本文中搭建的zookeeper环境准备在3个节点上搭建。接下来我们介绍下需要准备的环境。

2.1 准备3个节点

我这里以3个centos8的虚拟机节点为例,并且安装配置好JDK8,并配置好相关的网络配置。

 

ip主机名
192.168.0.100 zl01
192.168.0.101 zl02
192.168.0.102 zl03

(创建好一个虚拟机后,通过VMware的克隆或者直接复制文件夹的方式来创建另外两个新的节点)

2.2 节点的映射关系

先修改主机名,vi hostname  分别为zl01,zl02,zl03

每个节点设置相应的ip和主机名的映射关系,方便集群环境的部署

修改hosts配置文件中的信息

2.3 配置免密登录(一个节点配置好zookeeper后直接分发给其他节点)

生成公钥和私钥

ssh-keygen

输入命令后根据提示,四次回车即可

 发送公钥给需要免密登录的节点

ssh-copy-id zl01
ssh-copy-id zl02
ssh-copy-id zl03

节点和节点发送文件通过scp命令实现(文件分发),一个节点配置好zookeeper后直接分发给其他节点

例子:scp -r b.txt zl01:/root/

2.4 关闭防火墙(三台)

sudo systemctl stop firewalld

3. Zookeeper集群环境搭建

3.1 获取安装文件

下载地址:https://mirrors.bfsu.edu.cn/apache/zookeeper/

通过wget命令将安装文件下载到opt目录下

注意:

apache-zookeeper-3.5.9-bin.tar.gz和apache-zookeeper-3.5.9.tar.gz的区别 -bin是编译后的文件 我们用这个

wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
 

3.2 下载解压

 

 进入目录,修改配置文件

 将文件都移动到/opt/zookeeper文件夹下,并创建新的文件夹data

 

  修改文件vi zoo_cfg

 

配置myid文件

我们需要在zookeeper的数据存储的目录中创建一个myid文件,文件中的内容只有一行信息,即表示我们集群几点的标识,范围是1-255,每个节点的myid的数字和我们在zoo.cfg中配置的server.数字是对应的

在data文件夹下新增文件myid

echo > 1 myid 

分发文件

当我们配置好了一个Zookeeper节点后,我们就可以将Zookeeper文件夹分发给其他几个节点了

scp -r apache-zookeeper-3.5.9-bin zl02:`pwd`
scp -r apache-zookeeper-3.5.9-bin zl03:`pwd`

分发成功后我们需要修改各个节点中的myid的信息为配置文件中对应的数字

启动测试

整个集群环境都配置好了之后我们就可以测试启动了

启动命令

./bin/zkServer.sh start

 当我们仅仅启动一个节点的时候,因为半数存活机制,3个节点只启动一个节点是没有效果的

 

 

 当我们启动第二个节点后发现集群环境可以使用了

 

 

 注意:如果启动不成功,将三台机器对应zoo.cfg文件修改一下

192.168.0.100的zoo.cfg(部分配置):
server.1=0.0.0.0:2888:3888
server.2=zl02:2888:3888
server.3=zl03:2888:3888


192.168.0.101的zoo.cfg(部分配置):
server.1=zl01:2888:3888
server.2=0.0.0.0:2888:3888
server.3=zl03:2888:3888

192.168.0.102的zoo.cfg(部分配置):
server.1=zl01:2888:3888
server.2=zl02:2888:3888
server.3=0.0.0.0:2888:3888

 

 

 

 

 

 

 
 
posted @ 2022-12-02 21:34  风子磊  阅读(602)  评论(0编辑  收藏  举报