随笔分类 - 面试复试
摘要：控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一个 Broker 成为控制器，行使其管理和协调的
阅读全文
摘要：1. 利用 Partition 实现并行处理 我们都知道 Kafka 是一个 Pub-Sub 的消息系统，无论是发布还是订阅，都要指定 Topic。 Topic 只是一个逻辑的概念。每个 Topic 都包含一个或多个 Partition，不同 Partition 可位于不同节点。 一方面，由于不同
阅读全文
摘要：1、消费方式 consumer 采用 pull（拉） 模式从 broker 中读取数据。 push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。 它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，尚硅谷大数据技术之 Kaf
阅读全文
摘要：1、数据可靠性保证，数据同步 为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer 发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果 producer 收到 ac
阅读全文
摘要：1、kafka的数据存储 文件存储格式： .log 和 .index Kafka 中消息是以 topic 进行分类的， 生产者生产消息，消费者消费消息，都是面向 topic的。 topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该
阅读全文
摘要：定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域。 1） Producer ： 消息生产者，就是向 kafka broker 发消息的客户端； 2） Consumer ： 消息消费者，向 kafka broker 取消息的客
阅读全文
摘要：1、zookeeper宕机与dubbo直连 现象：zookeeper注册中心宕机，还可以消费dubbo暴露的服务。 原因： 健壮性 l 监控中心宕掉不影响使用，只是丢失部分采样数据 l 数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务 l 注册中心对等集群，任意一台宕掉后，将自动
阅读全文
摘要：https://dubbo.apache.org/zh/docs/v2.7/user/examples/preflight-check/ 1、启动时检查 在启动时检查依赖的服务是否可用 Dubbo 缺省会在启动时检查依赖的服务是否可用，不可用时会抛出异常，阻止 Spring 初始化完成，以便上线时，
阅读全文
摘要：图例说明： 图中左边淡蓝背景的为服务消费方使用的接口，右边淡绿色背景的为服务提供方使用的接口，位于中轴线上的为双方都用到的接口。 图中从下至上分为十层，各层均为单向依赖，右边的黑色箭头代表层之间的依赖关系，每一层都可以剥离上层被复用，其中，Service 和 Config 层为 API，其它各层均为
阅读全文
摘要：Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东东，说白了就是个远程服务调用的
阅读全文
摘要：curator介绍 https://blog.csdn.net/wo541075754/article/details/68067872 关于第三方客户端的小介绍 zkClient有对dubbo的一些操作支持，但是zkClient几乎没有文档，下面是curator curator简介 curator
阅读全文
摘要：leader选举 服务器状态 looking：寻找leader状态。当服务器处于该状态时，它会认为当前集群中没有leader，因此需要进入leader选举状态 following：跟随着状态。表明当前服务器角色是follower observing：观察者状态。表明当前服务器角色是observer
阅读全文
摘要：ZAB协议 zab协议的全称是 Zookeeper Atomic Broadcast (zookeeper原子广播)。zookeeper是通过zab协议来保证分布式事务的最终一致性 1、ZAB协议是专门为zookeeper实现分布式协调功能而设计。zookeeper主要是根据ZAB协议是实现分布式系
阅读全文
摘要：完全配置——https://zookeeper.apache.org/doc/r3.4.14/zookeeperAdmin.html#sc_zkMulitServerSetup https://zookeeper.apache.org/doc/r3.4.14/zookeeperAdmin.html#
阅读全文
摘要：分布式锁 实现原理：有序节点+watch监听机制实现 分布式锁有多种实现方式，比如通过数据库、redis都可实现。作为分布式协同工具Zookeeper，当然也有着标准的实现方式。下面介绍在zookeeper中如果实现排他锁 设计思路 每个客户端往/Locks下创建临时有序节点/Locks/Lock_
阅读全文
摘要：分布式唯一id案例 原理：使用zookeeper有序节点，节点后会加上有序的id，用这个id来当唯一ID 在过去的单库单表型系统中，通常第可以使用数据库字段自带的auto_ increment属性来自动为每条记录生成个唯一的ID。 但是分库分表后，就无法在依靠数据库的auto_ increment属
阅读全文
摘要：配置中心 使用 zookeeper的特性watcher监听器 工作中有这样的一个场景：数据库用户名和密码信息放在一个配置文件中，应用读取该配置文件，配置文件信息放入缓存 若数据库的用户名和密码改变时候，还需要重新加载媛存，比较麻烦，通过 Zookeeper可以轻松完成,当数据库发生变化时自动完成缓存
阅读全文
摘要：watcher概念 https://zookeeper.apache.org/doc/r3.4.14/zookeeperProgrammers.html#sc_WatchRememberThese zookeeper提供了数据的发布/订阅功能，多个订阅者可同时监听某一特定主题对象，当该主题对象的自身
阅读全文
摘要：引入maven包 <dependency> <groupId>com.101tec</groupId> <artifactId>zkclient</artifactId> <exclusions> <exclusion> <artifactId>zookeeper</artifactId> <gro
阅读全文
摘要：Zookeeper的常用命令本篇不包括权限acl相关以及集群相关，那些要另开篇章。使用的版本是Zookeeper3.4.14，不同版本会有一定的差异性。 节点的存储信息 新增命令 语法：create [-s] [-e] path data [acl] 参数：使用[]包含的是可选参数。 [-s] :
阅读全文
