摘要：目录1.关于Kafka2.Kafka 搭建过程3.参考 本文主要介绍Kafka基本原理，以及搭建过程。 1.关于Kafka Apache Kafka是一个开源的分布式事件流平台，被设计用来实现实时数据流的发布、订阅、存储和处理。 Kafka的主要特性包括： 高吞吐量：Kafka可以处理高速流动的数据
阅读全文
posted @ 2023-10-05 21:48
随笔分类 - Kafka
摘要：问题 向kafka写数据，然后读kafka数据，生产的数据量和消费的数据量对不上。 开始怀疑人生，以前奠定的基础受到挑战。。。 原来的测试为什么没有覆盖生产量和消费量的对比？ 消费者写的有问题？反复检，无果。。。 再反过来梳理生产者的代码，检查了几遍，也并无发现疏漏。 开始怀疑Kafka 以前看过文
阅读全文
posted @ 2018-06-17 10:17
摘要：项目中需要使用python 向Kafka生产和消费数据，最初使用pykafka 。后来发现pykafka不支持client.id. 最后，终于找到confluent kafka。 python kafka推荐使用confluent kafka，官方推荐的。 Confluent's Apache Ka
阅读全文
posted @ 2018-06-10 11:20
