Kafka

Kafka架构图：

相关概念如下：

Producer：Producer即生产者，消息的产生者，是消息的入口。
kafka cluster：
Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……
Topic：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。
Partition：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！
Replication:每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。
Message：每一条发送的消息主体。
Consumer：消费者，即消息的消费方，是消息的出口。
Consumer Group：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！
Zookeeper：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。

 

消费注意事项：

1：同一个分区只能被同一个消费者组中的一个消费者消费

在 Kafka 中，一个分区（partition）只能被同一个消费者组（consumer group）中的一个消费者（consumer）消费。这是因为 Kafka 的消费者组模型是基于发布-订阅模式的，每个消费者组中的消费者共同消费一个主题（topic）的所有分区，每个分区只能被一个消费者消费。

如果一个分区被多个消费者组中的消费者消费，那么这些消费者将会重复消费同一条消息，导致数据的重复处理。因此，Kafka 限制了一个分区只能被同一个消费者组中的一个消费者消费，以确保数据的一致性和正确性。

当一个消费者组中的消费者宕机或者离线时，Kafka 会自动将该消费者组中的分区重新分配给其他消费者。这样，消费者组中的消费者可以动态地加入或退出，而不会影响数据的处理和一致性。

2：同一个分区可以被不同消费者组中的消费者消费

如果一个分区被多个消费者组中的消费者消费，那么每个消费者组中的消费者都可以独立地消费该分区中的消息，互不影响。这种情况下，Kafka会为每个消费者组维护一个消费进度，确保每个消费者组中的消费者都能够消费到自己未消费的消息。

 

考虑到多个消费者的场景，kafka 在设计的时候，可以由多个消费者组成一个消费组，同一个消费组的消费者可以消费同一个 topic 下不同分区的数据，同一个分区只会被一个消费组内的某个消费者所消费，防止出现重复消费的问题！

但是不同的组，可以消费同一个分区的数据！

你可以这样理解，一个消费组就是一个客户端，一个客户端可以由很多个消费者组成，以便加快消息的消费能力。

但是，如果一个组下的消费者数量大于分区数量，就会出现很多的消费者闲置。

如果分区数量大于一个组下的消费者数量，会出现一个消费者负责多个分区的消费，会出现消费性能不均衡的情况。

因此，在实际的应用中，建议消费者组的consumer的数量与partition的数量保持一致！