随笔分类 - kafka
摘要：背景 当一次拉取接收数据过多时，会出现消费过慢超过默认超时时间，导致消费积压，消费者心跳过期，离开消费组从而失去该消费组消费数据的情况。 解决方案 减少单次拉取消息条数，增加最大拉取间隔时间。 消费者配置中，减少单次拉取消息条数max.poll.records，增加获取消息后提交偏移量的最大时间ma
阅读全文
摘要：背景 项目需要动态更改topic，且不能将配置写在yml配置文件中，同时没有找到方法提取其他文件里的 topics 放入@KafkaListener注解中，因此不使用@KafkaListener注解，改为手动初始化消费者，开启消费者线程。 思路 在消费者线程里，每次循环都从配置源获取最新的topic
阅读全文
摘要：背景 因项目需求要使用kafka实现消息队列，从零开始学习安装。 zookeeper安装 安装 从官网https://dlcdn.apache.org/zookeeper/上下载，这里选择3.7.0版本。 注意事项 zookeeper从3.5.5开始，带有bin名称的包才是编译后的二进制的包，而之前
阅读全文
