随笔分类 - kafka
kafka学习笔记
摘要：一、背景 项目中有一个需求，是通过消费kafka的消息来处理数据，但是想要实现延迟消费的效果，于是想到了是否可以自己管理kafka的commit来实现，就是通过设置`enable.auto.commit`为False，预期是如果消费到了消息，但是不commit，kafka就会重新把消息放回队列，后续
阅读全文
摘要：在学习kafka的时候遇到一些问题，刚开始怎么都想不通，于是记录一下，希望最终能通过搜索引擎或者请教别人或者查阅书籍找到答案。 1、根据配置中，每个kafka的配置中只设置了broker.id、zookeeper.connect，那么每个kafka是如何知道集群中有哪些节点呢？ 2、每个消费者、生产
阅读全文
摘要：虽然kafka集群部署的文章网络的到处都是，但是还是想把自己亲自操作的过程记录一下，同时也可以记录一下遇到的问题，避免以后部署的时候再遇到。 一、安装 1、下载，地址： https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.1
阅读全文
摘要：根据官网介绍，kafka是一个分布式流处理平台，他提供了一下这些功能： 1、发布、订阅功能。 2、持久化存储所有消息记录。 3、实时处理消息。 它通常被应用与两个大类应用： 1、构建系统和应用程序之间的实时数据通道。 2、构建转换数据流的应用程序。 kafka的一些概念： 1、producer：消息
阅读全文
