摘要：Kafka可视化管理工具kafka-manager 安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.html 线上环境规划 JVM参数设置 kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改b 阅读全文

摘要：Kafka核心总控制器Controller 在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。 当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 阅读全文

摘要：这一部分主要是接触Kafka，并熟悉Kafka的使用方式。快速熟练的搭建kafka服务，对于快速验证一些基于Kafka的解决方案，也是非常有用的。 一、Kafka介绍 ​ ChatGPT对于Apache Kafka的介绍： Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发并 阅读全文

摘要：1. kafka适用场景 2 Mq作用 3 kafka消费组的作用 kafka可以有多个消费组, 一条消息, 同一个消费组里面假如有多个消费者， 这条消息只能被其中一个消费者消费。 但是其他组也能消费这条消息。 同一个消费组里面多个消费者消费消息kafka可以减轻压力 kafka可以有多个消息生产者 阅读全文

摘要：1. 防止重复消费消息 消息发送端只发送一次, 消费端手动提交偏移量(偏移量可以存储在redis等，key为topic+group+partition, value为偏移量) 幂等校验(根据唯一字段，从数据库或redis中查询是否已经消费过) 2. 防止消息丢失 ISR中的leader partit 阅读全文