摘要: 1.Linux环境部署kafka 2.Win10环境部署kafka 3.docker部署kafka 4.kafka的简单使用 5.kafka消息的细节 6.kafka主题和分区的概念 7.kafka集群操作 8.kafka生产者实现细节 9.kafka消费者实现细节 10.kafka集群中的cont 阅读全文
posted @ 2021-11-01 21:54 Dawnlight-_- 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 1.准备 (1) 去kafka-eagle的官网下载压缩包: http://download.kafka-eagle.org/ (2) 利用xftp传输到虚拟机中 2.安装 先解压压缩包: tar -xvf kafka-eagle-bin-2.0.8.tar.gz 改名: mv kafka-eagl 阅读全文
posted @ 2021-11-01 21:46 Dawnlight-_- 阅读(129) 评论(0) 推荐(0) 编辑
摘要: Kafka的简单使用 1.kafka常用命令 Linux //启动zookeeper ./zookeeper-server-start.sh ../config/zookeeper.properties //启动kafka ./kafka-server-start.sh ../config/serv 阅读全文
posted @ 2021-11-01 20:23 Dawnlight-_- 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 1.如何防止消息丢失 ⽣产者: (1)使⽤同步发送。 (2)把ack设成1或者all,并且设置同步的分区数>=2。 消费者: 把⾃动提交改成⼿动提交。 2.如何防止重复消费 在防⽌消息丢失的⽅案中,如果⽣产者发送完消息后,因为⽹络抖动,没有收到ack,但实际上broker已经收到了。 此时⽣产者会进 阅读全文
posted @ 2021-11-01 17:09 Dawnlight-_- 阅读(52) 评论(0) 推荐(0) 编辑
摘要: controller 每个broker启动时会向zk创建⼀个临时序号节点,获得的序号最⼩的那个broker将会作为集群中的controller,负责这么⼏件事: 当集群中有⼀个副本的leader挂掉,需要在集群中选举出⼀个新的leader,选举的规则是从isr集合中最左边获得。 当集群中有broke 阅读全文
posted @ 2021-11-01 16:48 Dawnlight-_- 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 消费者的java实现 import java.util.Arrays; import java.util.Properties; public class MySimpleConsumer { private final static String TOPIC_NAME = "my-replicat 阅读全文
posted @ 2021-11-01 15:55 Dawnlight-_- 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 生产者的基本实现 引入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version> </dependency> 具体实现 pack 阅读全文
posted @ 2021-11-01 14:26 Dawnlight-_- 阅读(73) 评论(0) 推荐(0) 编辑