分布式系统的难点
可以想象,假如一台计算机的出错概率为0.1%,那么1000台服务器的出错概率呢?一旦计算机的数量增多,出错的概率就大大的增加。
-
多个相互独立的计算机,假设集群的配置信息在某个Master节点上,其余的节点从Master节点下载配置信息。假如Master节点挂了呢?假设Master节点是故障冗余的,但是配置信息是动态的传递给所有的其余节点的,而不是直接传过去。所有节点之间的信息如何保证一致呢?
-
服务发现的问题,为了增加系统的可靠性,我们一般会在系统中增加更多的服务器。让其它机器知道新加入的节点在集群中的关系和服务,这个设计也需要非常周到的考虑
-
机器数目众多,更容易出现 机器故障,软件崩溃,网络延迟,拓扑改变等等,而这些类型的错误没有规律可循,因此在分布式系统,想实现高容错性是很难的。
当然了..ZooKeeper被设计出来的目的就是解决这种类型的问题.
ZooKeeper介绍
zookeeper实际上是yahoo开发的,用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难,其他的分布式系统没有必要费劲重复造轮子,故随后的分布式系统中大量应用了zookeeper,以至于zookeeper成为了各种分布式系统的基础组件,其地位之重要,可想而知。著名的hadoop、kafka、dubbo 都是基于zookeeper而构建。
安装ZooKeeper
有关分布式的理论也很重要,我们放到下此再讲,首先有一个可以运行的Demo,在看理论的时候才更明白是怎么回事,因为ZooKeeper的简单易用,几分钟内就可以做出一个小demo。
-
从ZooKeeper官网下载
下载地址:https://archive.apache.org/dist/zookeeper/ -
解压配置
tar -xf /usr/local/src/zookeeper-3.4.9.tar.gz -C /usr/local/src/
ln -sv /usr/local/src/zookeeper-3.4.9/ /usr/local/zookeeper
cd /usr/local/zookeeper/
- 配置ZooKeeper
vim zoo.cfg
# zoo.cfg文件中内容如下
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
- tickTime 单位为微秒,用于session注册和客户端和ZooKeeper服务的心跳周期。session超时时长最小为 tickTime的两倍
- dataDir ZooKeeper的状态存储位置,看名字就知道书数据目录。在你的系统中检查这个目录是否存在,如果不存在手动创建,并且给予可写权限。
- clientPort 客户端连接的端口。不同的服务器可以设置不同的监听端口,默认是2181
- 启动ZooKeeper
# 这里命令写的长是为了便于知道ZooKeeper是如何使用配置文件的。
/usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zoo.cfg
# 查看ZooKeeper是否运行
ps –ef | grep zookeeper
# 也可以使用jps ,可以看到java进程中有QuorumPeerMain列出来。
# 查看ZooKeeper的状态
zkServer.sh status
# 常用的ZooKeeper用法,这个属于Linux基础的部分,就不过多说明了
./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}
- 使用zkCli连接ZooKeeper
/usr/local/zookeeper/bin/zkCli.sh -server localhost:2181
连接成功后可以使用如下命令:
ZooKeeper命令演示
ZooKeeper集群配置
ZooKeeper的集群相对比较简单,这里不涉及过多的篇幅,但会列出大概的步骤。
- 创建配置文件
cd /usr/local/zookeeper
touch zoo1.cfg zoo2.cfg zoo3.cfg
集群的配置
注意 端口不要冲突,dataDir不要相同
- 配置数据目录与数据存放目录内容
cd /tmp/zookeeper
mkdir {zoo1,zoo2,zoo3}
echo 1 > zoo1/myid
echo 2 > zoo2/myid
echo 3 > zoo3/myid
这里的myid文件中一定要对应上面配置文件中server.[id]的数字,不然ZooKeeper启动会出错。
- 启动ZooKeeper
zkServer.sh start /usr/local/zookeeper/conf/zoo1.cfg
zkServer.sh start /usr/local/zookeeper/conf/zoo2.cfg
zkServer.sh start /usr/local/zookeeper/conf/zoo3.cfg
- 查看效果
使用ps -ef | grep zoo可以看到有三个zookeeper启动起来了。
连接ZooKeeper
# 192.168.8.250是ZooKeeper服务器的地址
zkCli.sh -server 192.168.8.250:2181,192.168.8.250:2182,192.168.8.250:2183
集群连接效果
可以看到连接成功,也就是集群配置成功了。
最后
这篇文章,主要介绍了一下什么是分布式系统和分布式系统的的基本特性,然后又做了ZooKeeper的简单Demo,希望帮助大家入门ZooKeeper。
作者:Real_man
链接:https://www.jianshu.com/p/1f4c70d7ef40
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)