随笔分类 -  kafka

kafka学习
摘要:1. 工作流程以及文件存储机制 ​ kafka 中的消息是以topic进行分类的,生产消费消息都是面向topic。 ​ topic是逻辑上的概念,partition 分区是物理上的概念,每个分区对应一个log文件,该log文件存储的就是producer 生产的log 数据。producer生产的数据 阅读全文
posted @ 2023-06-12 22:42 QiaoZhi 阅读(245) 评论(0) 推荐(0) 编辑
摘要:1. 简单介绍 kafka拦截器用于生产者和消费者对统一对消息做处理。且可以设置多个拦截器,用于链式调用。 生产者拦截器可以用于生产消息前做处理,消费者可以用于消费消息前做处理。 2. 简单使用 1. 生产者 package cn.qz.cloud.kafka.interceptor; import 阅读全文
posted @ 2023-01-31 23:15 QiaoZhi 阅读(274) 评论(0) 推荐(0) 编辑
摘要:1. javaclient 测试kafka 1. 配置kafka 允许远程推送 修改config/Kraft/server.properties 文件,,将地址变为服务器公网IP地址。 advertised.listeners=PLAINTEXT://localhost:9092 然后重启 2. 测 阅读全文
posted @ 2022-12-11 15:30 QiaoZhi 阅读(258) 评论(0) 推荐(0) 编辑
摘要:在Kafka 2.8之后,引入了基于Raft协议的KRaft模式,支持取消对Zookeeper的依赖。在此模式下,一部分Kafka Broker被指定为Controller,另一部分则为Broker。这些Controller的作用就是以前由Zookeeper提供的共识服务,并且所有的元数据都将存储在 阅读全文
posted @ 2022-12-05 23:06 QiaoZhi 阅读(787) 评论(0) 推荐(0) 编辑
摘要:1. 简介 Kafka 是一个基于发布/订阅模式的消息队列,主要用于大数据实时处理领域。 1. 使用消息队列的好处: 1. 解耦:允许独立的修改或者扩展两遍的处理过程 2. 可恢复性:系统的一部分组件失效后,不会影响整个系统。 3. 缓冲:有助于控制和优化数据流经过系统的速度,解决生产者和消费者处理 阅读全文
posted @ 2021-07-11 19:13 QiaoZhi 阅读(184) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示