随笔分类 - kafka
kafka学习
摘要:1. 工作流程以及文件存储机制 kafka 中的消息是以topic进行分类的,生产消费消息都是面向topic。 topic是逻辑上的概念,partition 分区是物理上的概念,每个分区对应一个log文件,该log文件存储的就是producer 生产的log 数据。producer生产的数据
阅读全文
摘要:1. 简单介绍 kafka拦截器用于生产者和消费者对统一对消息做处理。且可以设置多个拦截器,用于链式调用。 生产者拦截器可以用于生产消息前做处理,消费者可以用于消费消息前做处理。 2. 简单使用 1. 生产者 package cn.qz.cloud.kafka.interceptor; import
阅读全文
摘要:1. javaclient 测试kafka 1. 配置kafka 允许远程推送 修改config/Kraft/server.properties 文件,,将地址变为服务器公网IP地址。 advertised.listeners=PLAINTEXT://localhost:9092 然后重启 2. 测
阅读全文
摘要:在Kafka 2.8之后,引入了基于Raft协议的KRaft模式,支持取消对Zookeeper的依赖。在此模式下,一部分Kafka Broker被指定为Controller,另一部分则为Broker。这些Controller的作用就是以前由Zookeeper提供的共识服务,并且所有的元数据都将存储在
阅读全文
摘要:1. 简介 Kafka 是一个基于发布/订阅模式的消息队列,主要用于大数据实时处理领域。 1. 使用消息队列的好处: 1. 解耦:允许独立的修改或者扩展两遍的处理过程 2. 可恢复性:系统的一部分组件失效后,不会影响整个系统。 3. 缓冲:有助于控制和优化数据流经过系统的速度,解决生产者和消费者处理
阅读全文