摘要：
kafka中有三种语义： 1、at-most-once 配置应答模式ack为0时，只要消息到了broker无论是否写成功，就回复ok，这样可能导致消息没有写入kafka；这种做法一般是为了减少消息的重复性，而且业务必须接受数据的丢失 2、at-least-once producer在收到ack时，证 阅读全文
摘要：
前言 要了解生产者ISR，需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 （1）没有到deli 阅读全文
摘要：
分区结构 如下图是官网上kafka三级结构图，三级结构为主题 分区 消息，并且每条消息只能保存在某一个分区内； kafka虽然是一个队列但是不保证消息有序，但是对于分区来说消息是有序的 为什么分区 分区的作用就是提供生产消费数据负载分担的能力；不同的分区被分配在不同的节点，数据的生产消费是基于分区粒 阅读全文
摘要：
话不多说直接上图 相关概念 1、broker kafka集群实例，前面的随笔中说过通过broker.id可以配置broker ID 2、topic 主题，用来在存储消息时区分不同类型的消息 3、partition 分区，归属于topic，不同的分区分布在kafka集群的不同节点上，可以提高kafka 阅读全文
摘要：
前言 kafka是一种分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域；下面总结下kafka集群搭建方法 准备工作 1、三台linux环境，地址分别为192.168.1.51、192.168.1.52、192.168.1.53 2、jdk1.8.0_252，当然其他版本也行 3、ap 阅读全文