springboot - kafka实践

Kafka是一个开源的分布式流处理平台，由Apache软件基金会开发和维护。它是一种高性能、可持久化、可扩展的消息队列系统，常用于解决大规模数据传输和处理的问题。

以下是Kafka的一些核心概念和主要特点：

1. 消息和主题：Kafka基于发布订阅模式，消息被发布到一个或多个主题（Topic）中。每条消息都有一个唯一的标识符称为偏移量（Offset）。

2. 分区和副本：每个主题可以被分为一个或多个分区（Partition），每个分区在不同的Kafka节点上存储副本（Replica）。分区和副本提供了高可用性和容错性。

3. 生产者和消费者：生产者（Producer）将消息发布到主题，消费者（Consumer）从主题订阅并消费消息。

4. 流处理：Kafka支持流处理，即可以实时处理和转换数据流，支持复杂的流处理逻辑。

5. 可扩展性：Kafka具有良好的可扩展性，可以通过添加更多的节点来增加处理能力和存储容量。

6. 持久化：Kafka使用日志式存储结构，将所有的消息持久化到磁盘上，从而保证数据的可靠性和持久性。

Kafka在很多场景中被广泛使用，例如实时日志收集、事件驱动架构、微服务通信、大数据处理等。它具有高吞吐量、低延迟、可靠性强的特点，并且提供了一系列的客户端库和工具来简化使用和集成。

一、引入依赖

    <dependency>
      <groupId>org.springframework.kafka</groupId>
      <artifactId>spring-kafka</artifactId>
    </dependency>

二、生产消息

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

/**
 * @Classname KafkaProducer
 * @Created by Michael
 * @Date 2023/7/19
 * @Description 消息生产者
 */
public class MessageProducer {
  public static void main(String[] args) {
    Properties properties = new Properties();
    properties.setProperty("bootstrap.servers","192.168.3.100:9092");// kafka部署服务器
    properties.setProperty("key.serializer", StringSerializer.class.getName());
    properties.setProperty("value.serializer", StringSerializer.class.getName());
    KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

    //准备消息
    String topic = "message"; // 主题
    Integer partition = 0; // 指定分区
    long timeMillis = System.currentTimeMillis(); // 毫秒值 15分钟
    String key = "key-message"; // key
    String value = "value-this is kafka demo -- "+timeMillis; // value

    ProducerRecord<String, String> record
            = new ProducerRecord<>(topic, partition, timeMillis, key, value);

    //生产消息
    producer.send(record);
    producer.close();
  }

}

三、消费消息

import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Arrays;
import java.util.Properties;

/**
 * @Classname MessageConsumer
 * @Created by Michael
 * @Date 2023/7/19
 * @Description 消息消费者
 */
public class MessageConsumer {
  public static void main(String[] args) {
    Properties properties = new Properties();
    properties.setProperty("bootstrap.servers","192.168.3.100:9092");
    properties.setProperty("group.id", "group-1");
    properties.setProperty("key.deserializer", StringDeserializer.class.getName());
    properties.setProperty("value.deserializer", StringDeserializer.class.getName());

    //创建kafka消费者
    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
    //订阅kafka主题
    consumer.subscribe(Arrays.asList("message"));

    //持续消费消息
    ConsumerRecords<String, String> messages;
//    while (true) {
      messages = consumer.poll(1000);//每一秒拉取依次消息
      if (messages != null && messages.count() > 0) {
        messages.forEach((record) -> {
          System.out.printf("========offset = %d, key = %s, value = %s\n", record.offset(), record.key(), record.value());
        });
//      }
    }

  }
}

四、测试结果

运行producer发布消息到kafka，consumer因为订阅了消息，所以从kafka中拉取到消息内容

 注意，demo没做特殊处理，所以这里的消息时可以被重复消费的