随笔分类 - kafka
kafka安装使用
摘要：https://www.cnblogs.com/yn-huang/p/11684688.html 转载 通常来讲，kafka可以做到至少消费一次，但是可能会出现多次消费 也可以做到做多消费一次，但是可能会出现数据丢失。 刚好消费一次，必须在至少消费一次基础上，对幂等性进行判断，同时还需手动维护偏移量
阅读全文
摘要：之前讲过一些kafka的api与简单使用，但是在一些大公司和面试高级工程师岗位过程中发现kafka有很多薄弱点需要加强。这里重点学习一下原理，还有集群部署以及宕机恢复还有实际使用中的一些问题。 以下图文主要转载自尚硅谷kafka课件，链接: https://pan.baidu.com/s/17XOe
阅读全文
摘要：kafka避免重复消费实际上是修改offset的提交方式。但是如果前一段消费失败通常是采取继续发送到该topic下，但是调用的服务已经挂了，如果 服务一直处于异常意味着，要不停的重复失败的数据。会变成死循环，不停报错，浪费系统资源。 解决方案：将处理失败的信息发送到指定topic底下，该topic监
阅读全文
摘要：导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</version> </dependency> <dependency> <grou
阅读全文
摘要：导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</version> </dependency> <dependency> <grou
阅读全文
摘要：Broker Configs Property Default Description broker.id 每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上。你
阅读全文
摘要：Kafka是分布式发布-订阅消息系统,它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。在Kafka集群中，没有“中心主节点”的概念，集群中所有的服务器都是对等的，因此，可以在不做任何配置的更改的情况下实现服务器的的添加与删除，同样的消息的生产者和
阅读全文
摘要：环境：Kafka 2.2.0 版本，zookeeper测试系统为 CentOS 7，JDK 版本为 1.8.0_251。 zookeeper安装 第一步：下载安装包 下载地址为：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeep
阅读全文
