2022年5月1日
Kafka 总体调优
摘要： 5.1 如何提升吞吐量 如何提升吞吐量？ 1）提升生产吞吐量 buffer.memory：发送消息的缓冲区大小，默认值是 32m，可以增加到 64m。 batch.size：默认是 16k。如果 batch 设置太小，会导致频繁网络请求，吞吐量下降； 如果 batch 太大，会导致一条消息需要等待很 阅读全文
posted @ 2022-05-01 21:46 我係死肥宅 阅读(504) 评论(0) 推荐(0) 编辑
Kafka 消费者调优
摘要： 4.1 Kafka 消费者核心参数配置 参数名称 描述 bootstrap.servers。 向 Kafka 集群建立初始连接用到的 host/port 列表 key.deserializer 和 value.deserializer 指定接收消息的 key 和 value 的反序列化类型。一定要写 阅读全文
posted @ 2022-05-01 19:35 我係死肥宅 阅读(268) 评论(0) 推荐(0) 编辑
Kafka Broker调优
摘要： 3.1 Broker 核心参数配置 参数名称 描述 replica.lag.time.max.ms ISR 中，如果 Follower 长时间未向 Leader 发送通 信请求或同步数据，则该 Follower 将被踢出 ISR。 该时间阈值，默认 30s。 auto.leader.rebalanc 阅读全文
posted @ 2022-05-01 18:33 我係死肥宅 阅读(251) 评论(0) 推荐(0) 编辑
Kafka 生产者调优参数
摘要： 3.1.1 Updating Broker Configs From Kafka version 1.1 onwards, some of the broker configs can be updated without restarting the broker. See the Dynamic 阅读全文
posted @ 2022-05-01 17:34 我係死肥宅 阅读(253) 评论(0) 推荐(0) 编辑
Kafka 硬件配置选择
摘要： 1.1 场景说明 100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。 每条日志大小：0.5k - 2k（取 1k）。 1150 条/每秒钟 * 1k ≈ 1m/s 。 高峰期每 阅读全文
posted @ 2022-05-01 12:26 我係死肥宅 阅读(751) 评论(0) 推荐(0) 编辑
集成 SpringBoot
摘要： SpringBoot 是一个在 JavaEE 开发中非常常用的组件。可以用于 Kafka 的生产者，也可以 用于 SpringBoot 的消费者。 1）在 IDEA 中安装 lombok 插件 在 Plugins 下搜索 lombok 然后在线安装即可，安装后注意重启 2）SpringBoot 环境 阅读全文
posted @ 2022-05-01 11:46 我係死肥宅 阅读(313) 评论(1) 推荐(0) 编辑