随笔分类 - kafka
摘要：用过 Kafka 的同学应该都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 对应分区中的数据。我们又知道，Kafka 存在
阅读全文
摘要：原文：https://blog.csdn.net/lp284558195/article/details/80297208
阅读全文
摘要：一、 1、原理图 2、原理描述 一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个group中的同一个consumer消费，如果想要重复消费，那
阅读全文
摘要：1 Kafka的版本 很多人在Kafka中国社区(替群主做个宣传，QQ号：162272557)提问时的开头经常是这样的：“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯，但这里的2.10/2.11不是kafka的版本，而是编译kafka的Scala版本。Ka
阅读全文
摘要：1.前言 一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 2.Kafka文件存储机制 Kafka部分名词解释如下： Broker：消息中间件处理结点，
阅读全文
摘要：基本配置如下：-broker.id-log.dirs-zookeeper.connectTopic-level配置以及其默认值将在下面讨论。 Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为brok
阅读全文
摘要：kafka客户端发布record(消息)到kafka集群。 新的生产者是线程安全的，在线程之间共享单个生产者实例，通常单例比多个实例要快。 一个简单的例子，使用producer发送一个有序的key/value(键值对)，放到java的main方法里就能直接运行， 生产者的缓冲空间池保留尚未发送到服务
阅读全文
摘要：import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties; import kafka.consumer.ConsumerConfig;import kafka.con
阅读全文
摘要：import java.util.HashMap; import java.util.List;import java.util.Map;import java.util.Properties; import org.junit.Test; import kafka.consumer.Consume
阅读全文
摘要：kafka安装和启动 kafka安装和启动 kafka安装和启动 kafka安装和启动 kafka的背景知识已经讲了很多了，让我们现在开始实践吧，假设你现在没有Kafka和ZooKeeper环境。 Step 1: 下载代码 下载0.10.0.0版本并且解压它。 > tar -xzf kafka_2.
阅读全文
