摘要:
1.Linux环境部署kafka 2.Win10环境部署kafka 3.docker部署kafka 4.kafka的简单使用 5.kafka消息的细节 6.kafka主题和分区的概念 7.kafka集群操作 8.kafka生产者实现细节 9.kafka消费者实现细节 10.kafka集群中的cont 阅读全文
摘要:
1.准备 (1) 去kafka-eagle的官网下载压缩包: http://download.kafka-eagle.org/ (2) 利用xftp传输到虚拟机中 2.安装 先解压压缩包: tar -xvf kafka-eagle-bin-2.0.8.tar.gz 改名: mv kafka-eagl 阅读全文
摘要:
Kafka的简单使用 1.kafka常用命令 Linux //启动zookeeper ./zookeeper-server-start.sh ../config/zookeeper.properties //启动kafka ./kafka-server-start.sh ../config/serv 阅读全文
摘要:
1.如何防止消息丢失 ⽣产者: (1)使⽤同步发送。 (2)把ack设成1或者all,并且设置同步的分区数>=2。 消费者: 把⾃动提交改成⼿动提交。 2.如何防止重复消费 在防⽌消息丢失的⽅案中,如果⽣产者发送完消息后,因为⽹络抖动,没有收到ack,但实际上broker已经收到了。 此时⽣产者会进 阅读全文
摘要:
controller 每个broker启动时会向zk创建⼀个临时序号节点,获得的序号最⼩的那个broker将会作为集群中的controller,负责这么⼏件事: 当集群中有⼀个副本的leader挂掉,需要在集群中选举出⼀个新的leader,选举的规则是从isr集合中最左边获得。 当集群中有broke 阅读全文
摘要:
消费者的java实现 import java.util.Arrays; import java.util.Properties; public class MySimpleConsumer { private final static String TOPIC_NAME = "my-replicat 阅读全文
摘要:
生产者的基本实现 引入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version> </dependency> 具体实现 pack 阅读全文