hainingwyx

摘要： 控制器组件（Controller），是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。每个正常运转的 Kafka 集群，在任意时刻都有且只有一个控制器。 控制器选举 Broker 在启动时，会尝试去 ZooKeep 阅读全文

摘要： 所有的请求都是通过 TCP 网络以 Socket 的方式进行通讯的。 Kafka 使用的是 Reactor 模式处理请求。 Reactor 模式是事件驱动架构的一种实现方式，特别适合应用于处理多个客户端并发向服务器端发送请求的场景。多个客户端会发送请求给到 Reactor。Reactor 有个请求分 阅读全文

摘要： Kafka 拦截器分为生产者拦截器和消费者拦截器。 生产者拦截器允许你在发送消息前以及消息提交成功后植入你的拦截器逻辑； 而消费者拦截器支持在消费消息前以及提交位移后编写特定逻辑。 使用 当前 Kafka 拦截器的设置方法是通过参数配置完成的。生产者和消费者两端有一个相同的参数，名字叫 interc 阅读全文

摘要： title: kafka副本 top: false cover: false toc: true mathjax: true date: 2021-03-28 17:45:20 password: summary: tags: kafka categories: kafka 主题可划分成若干个分，每 阅读全文

摘要： kafka 只对“已提交”的消息（committed ）做有限度的持久化保证。 避免消息丢失 不要使用 producer.send(msg)，而要使用 producer.send(msg, callback)。一定要使用带有回调通知的 send 方法。 设置 acks = all。acks 是 Pr 阅读全文

摘要： 消费者组 Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。 Consumer Group 下可以有一个或多个 Consumer 实例。 Group ID 是一个字符串，在一个 Kafka 集群中，它标识唯一的一个 Consumer Group。 单个分区只能分配给 阅读全文

摘要： 消息分区机制 为什么分区 提供负载均衡的能力，实现系统的高伸缩性）。 不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。 分区策略 自定义分区策略 编 阅读全文

摘要： kafka通过**幂等性（Idempotence）和事务（Transaction）**实现消息精确一次（exactly once）的可靠性保障。 幂等性 Producer 设置props.put(“enable.idempotence”, ture)，或 props.put(ProducerConf 阅读全文

摘要： 生产消息 # 使用控制台来向 Kafka 的指定主题发送消息 $ bin/kafka-console-producer.sh --broker-list kafka-host:port --topic test-topic --request-required-acks -1 --producer- 阅读全文

摘要： Broker 端参数 log.dirs：Broker 需要使用的若干个文件目录路径，必须指定；最好不同路径挂载到不同的物理磁盘，提升读写性能且能能够实现故障转移 log.dir：单个路径 zookeeper.connect：zookeeper端口 listeners：访问kafka的监听器 adve 阅读全文

摘要： 高水位 在分区高水位以下的消息被认为是已提交消息。kafka中，分区的高水位就是其 Leader 副本的高水位。 作用 定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。 帮助 Kafka 完成副本同步。 **LEO（Log End Offset）**表示副本写入下一条消息的位移值。 阅读全文

摘要： title: kafka主题管理 top: false cover: false toc: true mathjax: true date: 2021-03-28 21:49:14 password: summary: tags: kafka categories: kafka 主题增删改查 创建 阅读全文

摘要： 功能 主题管理：包括主题的创建、删除和查询。 权限管理：包括具体权限的配置与删除。 配置参数管理：包括 Kafka 各种资源的参数设置、详情查询。所谓的 Kafka 资源，主要有 Broker、主题、用户、Client-id 等。 副本日志管理：包括副本底层日志路径的变更和详情查询。 分区管理：即创 阅读全文

摘要： 调优目标 吞吐量，也就是 TPS，是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数。 延时，表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。 优化 操作系统调优 1、最好在挂载（Mount）文件系统时禁掉 atime 更新。atime 阅读全文