ExplorerMan

摘要： 下载 建议到官网下载最新版https://www.elastic.co/cn/downloads/logstash本文使用logstash7.0.0https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz wget h 阅读全文

摘要： 参考文献：https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#consumer Producer.poll(timeout) timeout (float) – Maximum time to blo 阅读全文

摘要： 一，问题描述 搭建的用来测试的单节点Kafka集群（Zookeeper和Kafka Broker都在同一台Ubuntu上），在命令行下使用： ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 阅读全文

摘要： 当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 阅读全文

摘要： 一、为什么需要消息系统 1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的 阅读全文

摘要： 在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 一个消费者组中的消费者数量和分区的关系，比如一个组中有3个消费者，那么topic的分区数3，刚刚好，如果，消费者小于3， 阅读全文

摘要： golang中比较好用的kafka client有 sarama confluent-kafka-go go_kafka_client optiopay-kafka siesta 其中 sarama的使用者应该是最多的, 然后还有一个sarama的cluster版本sarama-cluster 本文 阅读全文