Kafka入门示例

KafKa基本介绍

Kafka是开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。Kafka是由Scala写成的一个分布式消息队列。

它包括Topic、Consumer、Producer，Broker（包含多个Partition）。

同一个Topic的消息会有多个分区多个副本，一个分区可以被多个消息者组消费，但只能由一个消费者组中一个Consumer消费。

Kafka的多分区多副本机制的好处

Kafka可以将同一topic的多条消息分散到多个partition中，而这些partition是分布于不同的Broker（服务器）上的，能提高并发处理的能力。一个Partition可指定多年replica数，能极大提高消息存储的安全性和容灾能力。

发布/订阅消息示例

源码地址

bsmn-springboot-demos: springboot相关示例代码 - Gitee.com

依赖

<dependency>
   <groupId>org.springframework.kafka</groupId>
   <artifactId>spring-kafka</artifactId>
</dependency>

生产者

package com.bsmn.springboot.kafka.producer;
 
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Service;
 
@Service
public class KafkaProducer {
 
    private final KafkaTemplate<String, String> kafkaTemplate;
 
    public KafkaProducer(KafkaTemplate<String, String> kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }
 
    public void sendMessage(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }
}

消息者

package com.bsmn.springboot.kafka.consumer;
 
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;
 
@Service
public class KafkaConsumer {
 
    @KafkaListener(topics = "my-topic", groupId = "my-group")
    public void listen(String message) {
        System.out.println("Received message: " + message);
    }
}
    }
}