随笔分类 - kafka
摘要：消费者组(Consumer Group)是什么 Consumer Group 是kafka提供的可扩展且具有容错性的消费者机制，消费者组内有多个消费者，它们被同一个ID所标识，这个ID被称为Group ID，组内所有的消费者通过协调机制一起消费订阅主题的分区，每个分区只能由一个消费者实例去消费。 消
阅读全文
摘要：Kafka生产者 生产者的首要功能就是向某个topic的某个分区发送一条消息，分区器决定了生产者要向topic的哪个分区写入消息。Kafaka producer提供了一个默认的分区器，如果发送的消息指定了key，那么分区器会根据key的哈希值选择目标分区，假如将要发送的消息没有指定key，分区器会采
阅读全文
摘要：Kafka分区策略 **所谓分区策略是决定生产者将消息发送到哪个分区的算法。**Kafka 为我们提供了默认的分区策略，同时它也支持你自定义分区策略。 常见的分区策略包含以下几种：轮询策略、随机策略 、按消息键保序策略 轮询策略 将消息顺序分配到各个分区中，假设一个主题下有三个分区，第一条消息将被发
阅读全文
摘要：Kafka设计架构 Kafka由生产者（Producer）、消费者（Consumer）、Broker以及Zookeeper集群组成，Zookeeper负责集群元数据的管理以及控制的选举等操作，Producer将消息发送到Broker， Broker负责将受到的消息存储到磁盘中，而Consumer负责
阅读全文
