01 2023 档案
摘要：### Java Consumer ```java String boostrapServers = "127.0.0.1:9092"; String groupId = "my-second-application"; String topic = "demo_java"; // create c
阅读全文
摘要：### Java Producer ```java public class ProducerDemo { private static final Logger log = LoggerFactory.getLogger(ProducerDemo.class.getSimpleName()); p
阅读全文
摘要：Consumer Groups -Reset Offsets kafka-consumer-groups.sh # Replace "kafka-consumer-groups" # by "kafka-consumer-groups.sh" or "kafka-consumer-groups.ba
阅读全文
摘要：CLI Consumer in Groups with kafka-console-consumer.sh # Replace "kafka-console-consumer.sh" # by "kafka-console-consumer" or "kafka-console-consumer.b
阅读全文
摘要：Kafka CLI: kafka-topics.sh # Replace "kafka-topics.sh" # by "kafka-topics" or "kafka-topics.bat" based on your system # (or bin/kafka-topics.sh or bin
阅读全文
摘要：关于 Kafka KRaft 在2020年，Apache Kafka项目做开始着手移除 Zookeeper 依赖（KIP-500） 当Kafka集群拥有超过10万个分区时，Zookeeper 有扩展问题 删除 Zookeeper 之后，Apache Kafka 可以 扩展到百万级分区，变得更容易维护
阅读全文
摘要：Zookeeper Zookeeper管理代理，保留一份代理的名单 Zookeeper帮助完成分区的领导者选举 当kafka有更改时，Zookeeper会发送通知，比如新的主题、代理崩溃、代理启动、删除主题等等 Kafka 2.x 版本运行必需要有 Zookeeper Kafka 3.x 可以使用
阅读全文
摘要：Kafka Brokers 一个kafka集群由多个 brokers（servers）组成 每个代理由ID（整数）标识 每个代理只包含特定的主题分区 连接到任何kafka代理（也称为引导代理后），客户端、生产者或使用者将连接到整个kafka集群 最好是从3个代理开始，但在有些大型集群中会有超过100
阅读全文
摘要：### Consumer Groups - 在一个应用中的所有消费者作为消费者组读取数据 - 组内的每个消费者从独立的分区读取 - 如果消费者多于分区，那么一些消费者会处于非活动状态（作为备用的消费者） - 分区是最小的并行单位 - 一个消费者可以消费多个分区 - 一个分区可以被多个消费者组里的消费
阅读全文
摘要：### Producers - 生产者向主题分区写入数据 - 生产者事先知道写入到哪个分区，哪个kafka代理拥有它 ### send()异步发送 缓冲区会为主题的每个分区创建一个大小用来存放消息，生产者首先将消息放入到对应分区的缓冲区中，当他放入消息后立刻返回，不等消息是否发送给服务端，也不管它是
阅读全文
摘要：### Kafka Topics - Topics: 一种特殊的数据流 - 就像数据库中的表，但没有所有的约束 - 可以有任意多的 Topics - 一个 Topic 由它的 name 定义 - 任意格式的消息格式 - Topic 中的消息序列称为 data stream - 你无法像数据库一样查询
阅读全文
