随笔分类 - 中间件
摘要:Kafka优化 1. 如何防止消息丢失 发送方: ack是 1 或者-1/all 可以防止消息丢失,如果要做到99.9999%,ack设成all,把min.insync.replicas配置成分区备份数 消费方:把自动提交改为手动提交。 2. 防止消息重复消费 一条消息被消费者消费多次。如果为了消息
阅读全文
摘要:Kafka——Controller、Rebalance、HW 1. Controller Kafka集群中的broker在zk中创建临时序号节点,序号最小的节点(最先创建的节点)将作为集群的controller,负责管理整个集群中的所有分区和副本的状态: 当某个分区的leader副本出现故障时,由控
阅读全文
摘要:Kafka实战——在SpringBoot中的应用 官网文档链接 1. pom引用 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency>
阅读全文
摘要:Kafka生产者与消费者 1. kafka客户端——生产者 1. pom配置 <properties> <lombok.version>1.16.18</lombok.version> <fastjson.version>1.2.66</fastjson.version> <kafka.versio
阅读全文
摘要:一. kafka安装 1. 安装前提 安装Jdk、javac验证是否安装成功 安装zookeeper 见链接教程 2. 到官网下载 3. 将下载好的文件上传到Linux服务器 4. 解压 tar -zxvf kafka_2.13-3.2.1.gz cd kafka_2.13-3.2.1/config
阅读全文