随笔分类 -  Kafka

kafka详解(5)-KAFKA重复消费和消息丢失
摘要：Kafka重复消费 重复消费 消息重复消费的根本原因都在于：已经消费了数据，但是offset没有成功提交。 其中很大一部分原因在于发生了再均衡。 1）消费者宕机、重启等。导致消息已经消费但是没有提交offset。 2）消费者使用自动提交offset，但当还没有提交的时候，有新的消费者加入或者移除，发 阅读全文
posted @ 2023-01-05 09:22 莲藕淹 阅读(5217) 评论(2) 推荐(2) 编辑
Kafka相关面试题及答案
摘要：Kafka相关面试题及答案 Kafka相关面试题及答案 1. Kafka中的ISR、AR又代表什么？ 1. Kafka中的ISR、AR又代表什么？ ISR：与leader保持同步的follower集合 AR：分区的所有副本 2. Kafka中的HW、LEO等分别代表什么？ 2. Kafka中的HW、 阅读全文
posted @ 2022-02-16 20:23 莲藕淹 阅读(190) 评论(0) 推荐(1) 编辑
kafka详解(03) - kafka JAVA API
摘要：kafka详解(03) - kafka JAVA API Producer (生产者)API Producer (生产者)API 消息发送流程 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线 阅读全文
posted @ 2022-02-16 20:22 莲藕淹 阅读(92) 评论(0) 推荐(0) 编辑
kafka详解(04) - kafka监控 可视化工具
摘要：kafka详解(04) - kafka监控 可视化工具 Kafka监控Eagle 1）修改kafka启动命令 修改kafka-server-start.sh命令中 if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1 阅读全文
posted @ 2022-02-16 20:22 莲藕淹 阅读(1712) 评论(0) 推荐(0) 编辑
kafka详解(02) - kafka_2.11-2.4.1安装部署
摘要：kafka详解(02) - kafka_2.11-2.4.1安装部署 环境准备 环境准备 下载安装包 官网下载地址：https://kafka.apache.org/downloads.html 2.4.1版本下载地址：https://archive.apache.org/dist/kafka/2. 阅读全文
posted @ 2022-02-16 20:21 莲藕淹 阅读(1202) 评论(0) 推荐(0) 编辑
kafka详解(01) - 概述
摘要：kafka详解(01) - 概述 定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 消息队列 消息队列 MQ传统应用场景之异步处理 使用消息队列的好处 使用消息队列的好处 1）解耦 允许独立的扩展或修改两边的处理过程，只要确保它 阅读全文
posted @ 2022-02-16 20:20 莲藕淹 阅读(243) 评论(0) 推荐(0) 编辑