MQ 消息幂等（去重）通用解决方案
摘要：消息中间件是分布式系统常用的组件，无论是异步化、解耦、削峰等都有广泛的应用价值。我们通常会认为，消息中间件是一个可靠的组件——这里所谓的可靠是指，只要我把消息成功投递到了消息中间件，消息就不会丢失，即消息肯定会至少保证消息能被消费者成功消费一次，这是消息中间件最基本的特性之一，也就是我们常说的“AT
阅读全文
posted @ 2022-02-11 12:03
随笔分类 - kafka
KAFKA会不会丢失消息
摘要：Kafka 会不会丢消息？ 阅读目录 一、认识 Kafka 二、Kafka 到底会不会丢失消息？ 三、生产者丢失消息 四、Kafka Broker 丢失消息 五、消费者丢失消息 六、总结 回到顶部 一、认识 Kafka Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之
阅读全文
posted @ 2022-01-28 15:48
KAFKA副本复制机制
摘要：Kafka副本 Kafka中主题的每个Partition有一个预写式日志文件，每个Partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到Partition中，Partition中的每个消息都有一个连续的序列号叫做offset,确定它在分区日志中唯一的位置 Kafka的每个top
阅读全文
posted @ 2021-12-09 11:35
kafka面试题
摘要：无论是作为面试官，还是应聘者，我都接触过很多Kafka面试题。而在最近面试了很多候选人，发现写了熟悉Kafka，但是对于Kafka相关的知识却是只知道大概用处，简单搭建和使用。我想说，虽然我们是SRE（可靠性工程师），但不论你是业务层的SRE还是基础设施层的SRE，我们都需要对业务方的使用场景有足够
阅读全文
posted @ 2021-12-06 20:27
kafka的简介以及架构
摘要：Kafka（一）Kafka的简介与架构 一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于201
阅读全文
posted @ 2021-12-06 20:22
kafka reblance机制分析
摘要：什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition
阅读全文
posted @ 2021-12-06 19:33
