随笔分类 - Kafka
摘要：非撸代码 看官了解意思即可 延续线 延续线 延续线 同一个消费者组内单个主题的分区只能由一个消费者消费
阅读全文
摘要：项目中最近使用kafka需要定时清理消息，我们知道kafka有周期性清理消息机制,但是项目中往往因为数据量较大，需要手动控制分区已消费消息的清理。 此处使用的是反编译程序，具体几个方法已标出， 个人清理想法：大致流程就是根据topic获取所有的分区，然后根据遍历每个分区的偏移量，然后存入map，存入
阅读全文
摘要：本次的记录内容包括： 1.Java调用生产者APi流程 2.Kafka生产者Api的使用及说明 3.Kafka消费者Api的使用及说明 4.Kafka消费者自动提交Offset和手动提交Offset 5.自定义生产者的拦截器，分区器 那么接下来我就带大家熟悉以上Kafka的知识说明 1.Java调用
阅读全文
摘要：查看kafka版本信息 find /opt/kafka/libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' 示例：kafka/libs/kafka_2.12-2.2.0.jar 前面2.12为Scala版本 后面2.2.0为kafka版
阅读全文
摘要：一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级
阅读全文
