随笔分类 -  kafka

Kafdrop
摘要：Kafdrop 是一个用于查看 Kafka 主题和浏览消费者组的 Web UI docker run -d --rm -p 9000:9000 \ -e KAFKA_BROKERCONNECT=host:port,host:port \ -e JVM_OPTS="-Xms32M -Xmx64M" \ 阅读全文
posted @ 2022-01-15 15:41 废物大师兄 阅读(957) 评论(0) 推荐(0) 编辑
Kafka分区与消费者的关系
摘要：1. 前言 我们知道，生产者发送消息到主题，消费者订阅主题（以消费者组的名义订阅），而主题下是分区，消息是存储在分区中的，所以事实上生产者发送消息到分区，消费者则从分区读取消息，那么，这里问题来了，生产者将消息投递到哪个分区？消费者组中的消费者实例之间是怎么分配分区的呢？接下来，就围绕着这两个问题一 阅读全文
posted @ 2018-09-17 20:09 废物大师兄 阅读(63975) 评论(17) 推荐(49) 编辑
Kafka从入门到进阶
摘要：1. Apache Kafka是一个分布式流平台 1.1 流平台有三个关键功能： 1.2 Kafka通常用于两大类应用： 1.3 有几个特别重要的概念： Kafka is run as a cluster on one or more servers that can span multiple d 阅读全文
posted @ 2018-08-03 21:37 废物大师兄 阅读(6145) 评论(1) 推荐(5) 编辑
Kafka集群搭建
摘要：1. 启动Server http://kafka.apache.org/quickstart For Kafka, a single broker is just a cluster of size one, so nothing much changes other than starting a 阅读全文
posted @ 2018-08-02 19:49 废物大师兄 阅读(5037) 评论(0) 推荐(0) 编辑
Kafka基本知识回顾及复制
摘要：复制 阅读全文
posted @ 2018-02-12 17:08 废物大师兄 阅读(1451) 评论(0) 推荐(1) 编辑
Kakfa消息投递语义
摘要：消息投递语义 阅读全文
posted @ 2018-02-11 14:34 废物大师兄 阅读(1053) 评论(0) 推荐(1) 编辑
Kafka Consumer
摘要：push vs pull 阅读全文
posted @ 2018-02-11 11:51 废物大师兄 阅读(1327) 评论(0) 推荐(1) 编辑
Kafka Producer Consumer
摘要：Producer API org.apache.kafka.clients.producer.KafkaProducer producer由一个缓冲池组成，这个缓冲池中维护着那些还没有被传送到服务器上的记录，而且有一个后台的I/O线程负责将这些记录转换为请求并将其传送到集群上去。 send()方法是 阅读全文
posted @ 2018-02-10 14:50 废物大师兄 阅读(2865) 评论(4) 推荐(0) 编辑
kafka快速开始
摘要：Step 1: Download the code Step 2: Start the server Step 3: Create a topic Step 4: Send some messages Step 5: Start a consumer Step 6: Setting up a mul 阅读全文
posted @ 2018-02-09 17:23 废物大师兄 阅读(947) 评论(0) 推荐(0) 编辑
kafka介绍
摘要：kafka对于构建实时的数据管道和流应用是很有用的。 Apache Kafka是一个分布式的流平台。这是什么意思呢？ 我们考虑流平台有三个关键的能力： Kafa有什么用呢？ 它被用于两类应用： 那么Kafka是怎样做到这些事情的呢？ 首先来看一些概念： Kafka是以集群方式运行的 Kafka集群将 阅读全文
posted @ 2018-02-09 15:47 废物大师兄 阅读(2072) 评论(0) 推荐(1) 编辑