摘要：项目中需要使用python 向Kafka生产和消费数据，最初使用pykafka 。后来发现pykafka不支持client.id. 最后，终于找到confluent kafka。 python kafka推荐使用confluent kafka，官方推荐的。 Confluent's Apache Ka
阅读全文
posted @ 2018-06-10 11:20
随笔分类 - 大数据
摘要：下载 地址：https://kafka.apache.org/downloads 这里下载的是kafka_2.11 0.11.0.1.tgz 解压 tar xzf kafka_2.11 0.11.0.1.tgz cd kafka_2.11 0.11.0.1 启动zookeeper $ bin/zoo
阅读全文
posted @ 2017-11-04 11:13
摘要：针对golang的 kafka client 有很多开源package，例如sarama, confluent等等。在使用sarama 包时，高并发中偶尔遇到crash。于是改用confluent kafka go，其简单易用，并且表现稳定。 本文主要介绍confluent kafka go的使用方
阅读全文
posted @ 2017-11-04 11:07
摘要：问题 在使用confluent kafka go 时遇到如下问题： $ go build t.go \ pkg config cflags rdkafka Package rdkafka was not found in the pkg config search path. Perhaps you
阅读全文
posted @ 2017-11-04 11:02
摘要：使用golang kafka sarama 包时，遇到如下问题： 高并发情况下使用同步sync producer，偶尔遇到crash: panic: interface conversion: interface {} is nil, not chan sarama.ProducerError go
阅读全文
posted @ 2017-11-04 11:01
