摘要: 一、Yarn 部署简介 Spark自身提供计算资源,无需其他框架提供资源。But 这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。请注意:Spark主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成会更靠谱一些。接下来我们看一下在 阅读全文
posted @ 2022-03-13 20:49 晓枫的春天 阅读(732) 评论(0) 推荐(0) 编辑
摘要: 1、Zookeeper 内部原理 1.1、Zookeeper 内部选举机制 (1)服务器1启动,此时只有它一台服务器启动了,它发出去的报文没有任何响应,所以它的选举状态一直是 LOOKING状态。 (2)服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据, 阅读全文
posted @ 2022-03-13 15:59 晓枫的春天 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 1、Zookeeper 概述 1.1、概述 Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目 工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的 阅读全文
posted @ 2022-03-13 13:08 晓枫的春天 阅读(187) 评论(0) 推荐(0) 编辑