随笔分类 -  kafka

https://kafka.apache.org/intro.html
使用Kafka时一定要注意防止消费速度过慢触发rebalance而导致的重复消费
摘要：在Java应用中，我们往往会使用spring-kafka组件简单的设置一下group_id, topic就开始消费消息了，其实这样会埋下巨大的安全隐患，即当消费速度过慢时有可能会触发rebalance, 这批消息被分配到另一个消费者，然后新的消费者还会消费过慢，再次rebalance, 这样一直恶性 阅读全文
posted @ 2022-06-08 09:30 jihite 阅读(3142) 评论(0) 推荐(0) 编辑
Zookeeper 在 Kafka 中的作用
摘要：https://www.jianshu.com/p/a036405f989c 待整理。。。 阅读全文
posted @ 2020-02-23 16:17 jihite 阅读(1918) 评论(0) 推荐(0) 编辑
mac 安装Kafka
摘要：1. 安装zookeeper brew install zookeeper 默认安装位置 启动文件： /usr/local/Cellar/zookeeper/3.4.10/bin/ 配置文件： /usr/local/etc/zookeeper/ 2. 启动zookeeper 服务 nohup zoo 阅读全文
posted @ 2020-02-23 16:16 jihite 阅读(11132) 评论(0) 推荐(2) 编辑
Kafka Consumer
摘要：python小例-生产、消费 生产 #!/usr/bin/env python # -*- coding: utf-8 -*- from kafka import KafkaProducer import json producer = KafkaProducer(bootstrap_servers 阅读全文
posted @ 2020-02-17 08:53 jihite 阅读(1622) 评论(0) 推荐(0) 编辑
Kafka安装
摘要：1.zookeeper在Kafka中的作用 Kafka实用zookeeper保存集群的元数据和消费者信息。Kafka发行版了自带Zookeeper，可以直接从脚本安装，不过安装一个完整版的Zookeeper也很easy。 2.安装zookeeper 下载 zookeeper-3.4.13.tar.g 阅读全文
posted @ 2019-03-05 11:57 jihite 阅读(1232) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示