随笔分类 - Kafka
摘要：一、重复消费的原因 消息重复消费的根本原因都在于：已经消费了数据，但是offset没有成功提交。 其中很大一部分原因在于发生了再均衡。 1）消费者宕机、重启等。导致消息已经消费但是没有提交offset。 2）消费者使用自动提交offset，但当还没有提交的时候，有新的消费者加入或者移除，发生了reb
阅读全文
摘要：Kafka每秒可以处理一百万条以上消息，吞吐量达到每秒百万级。那么Kafka为什么那么高的吞吐量呢？ 简单来说有以下几点原因： 1）页缓存技术 Kafka是基于操作系统的页缓存来实现写入的 操作系统本身有一层缓存，叫做page cache，是在内存里的缓存，我们也可以称之为 os cache，意思就
阅读全文
摘要：一、名词介绍 内核：操作系统的核心 用户空间：指的是用户进程的运行空间 内核空间：指的是内核的运行空间，是受保护的内存空间 用户态：如果进程运行在用户空间就是用户态 内核态：如果进程运行在内核空间就是内核态 DMA拷贝： 对一个IO操作而言，是通过CPU发出对应的指令来完成的，但是相比CPU来说，I
阅读全文
摘要：完整异常堆栈信息： org.springframework.kafka.KafkaException: Send failed; nested exception is org.apache.kafka.common.errors.TimeoutException: Topic test not p
阅读全文
摘要：异常： java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/JsonNode at org.apache.kafka.clients.admin.NewTopic.convertToCreatableTopic(NewTopi
阅读全文
摘要：拦截器是早在 Kafka 0.10.0.0 中就引入的一个功能，kafka一共有两种拦截器：生产者拦截器和消费者拦截器。 一、生产者拦截器 生产者拦截器既可以用来在消息发送前做一些准备工作，比如按照某个规则过滤不符合要求的消息、修改消息的内容等，也可以用来在发送回调逻辑前做一些定制化的需求，比如统计
阅读全文
摘要：kafka官方文档：https://kafka.apache.org/documentation/#quickstart 1、main方法中（1.0以上） import org.apache.kafka.clients.consumer.Consumer; import org.apache.kaf
阅读全文
摘要：Spring for Apache Kafka 官网：https://docs.spring.io/spring-kafka/docs/current/reference/html/ 一、Spring整合Kafka 1、需要的jar包 <dependency> <groupId>org.spring
阅读全文
摘要：Kafka中文文档：https://kafka.apachecn.org/ 可视化客户端工具：https://www.kafkatool.com/download.html Kafka是目前使用较多的消息队列，以高吞吐量得到广泛使用 特点： 1、同时为发布和订阅提供搞吞吐量。Kafka的设计目标是以
阅读全文
