Kafka队列消息和发布订阅消息

1、kafka自动创建主题
在配置文件里指定好kafka的topic之后，调用send方法会自动帮我们创建好topic，只是创建的topic默认是1个副本和1个分区的，这一般不能满足我们的要求，所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以下参数：

num.partitions=3
auto.create.topics.enable=true
default.replication.factor=3

 

之后，kafka自动帮我们创建的主题都会包含3个副本和3个分区。

2、查看主题列表

cd /opt/kafka_2.12-2.5.0/bin/
./kafka-topics.sh --list --zookeeper 172.16.0.2:2181/kafka

注：172.16.0.2:2181/kafka配置可以在server.properties查看

3、删除主题
默认情况下Kafka是不允许删除主题，如果想要删除主题，在kafka的${KAFKA}/config/server.properties里增加以下参数：
delete.topic.enable=true

cd /opt/kafka_2.12-2.5.0/bin/
./kafka-topics.sh --delete --topic mldn-topic --zookeeper 172.16.0.2:2181/kafka

一般而言，对于kafka操作建议在第一次启动之前就做好所有得操作

4、一直强调Kafka是一个发布订阅的消息组件，但是发现即便程序中启动了多个消费端，但是最终也只能够有一个消费者可以接收到发送者发送的内容，因为此时设置的分区只有一个，那么一个只能够表示一对一关系。于是下面创建一个新的主题，该主题设置三个分区：

cd /opt/kafka_2.12-2.5.0/bin/
./kafka-topics.sh --create --zookeeper 172.16.0.2:2181/kafka --replication-factor 1 --partitions 3 --topic mldn-three

假如启动4个消费者，启动1个生产者，此时所设置的消费者数量为3个，同时这三个消费者处于同一个组之中(props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-1") )，所以变为了三个消费者处理一个生产者的操作情况，所有消费者轮流进行处理。

5、如果此时你所设置的消费者的组ID不同，那么该消息将变为主题订阅消息。所有的消费者将取得各自的全部内容。组不同不同消费者接收到的消息数据是相同的。

props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-1");
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-2");
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-3");
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-4");

 

结论：如果现在设置的消费组相同，则表示属于队列消息，队列消息可以容纳的消费者最大为分区数量；
如果设置的消费组不同，则表示主题订阅消息，那么订阅者可以有无数多个。