随笔分类 -  Kafka

Kafka
摘要:##问题产生原因 发送基本标准 1.达到batch size 触发发送 2.linger.ms 时间达到触发 这两个参数配合好可以很好的控制生产者发送频率,但也带来了一些问题,失败回调获取不到数据重发,重试依然可能失败,所以一般不配置重试,或象征性一次。 解决思路:发送前预存一条有状态消息到数据库, 阅读全文
posted @ 2023-02-23 14:56 苏子墨 阅读(85) 评论(0) 推荐(0) 编辑
摘要:kafka + zookeeper kafka官网:https://kafka.apache.org/documentation/#brokerconfigs_offsets.commit.required.acks kafka生产环境配置详解 JVM配置:建议6G 环境变量 某公司生产环境配置 k 阅读全文
posted @ 2022-08-24 15:00 苏子墨 阅读(39) 评论(0) 推荐(0) 编辑
摘要:##Kafka 概念解释 topic:队列 producer:生产者,指发送消息端 consumer:消费者,消息消费端 consumer group:消费者组,消息会发给每个消费者组,每个消费者对应一个消费者组 border:kafka服务器 partition:分区 replication-fa 阅读全文
posted @ 2022-08-24 14:54 苏子墨 阅读(36) 评论(0) 推荐(0) 编辑