随笔分类 - kafka
摘要：Kakfa消费滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。所谓滞后程度，就是指消费者当前落后于生产者的程度。 比方说，Kafka 生产者向某主题成功生产了 100 万条消息，你的消费者当前消费了 80 万条消息，那么我们就说你的消费者滞后了 20 万条消息，即 Lag 等于
阅读全文
摘要：Kafka consumer是单线程的设计，这个其实不准确，从 Kafka 0.10.1.0 版本开始，KafkaConsumer 就变为了双线程的设计，即用户主线程和心跳线程。 所谓用户主线程，就是你启动 Consumer 应用程序 main 方法的那个线程，而新引入的心跳线程（Heartbeat
阅读全文
摘要：从用户的角度来说，位移提交分为自动提交和手动提交；从 Consumer 端的角度来说，位移提交分为同步提交和异步提交。 1.开启自动提交位移的方法，Consumer 端有个参数 enable.auto.commit，把它设置为 true 或者压根不设置它就可以了，默认是true。 启用了自动提交，C
阅读全文
摘要：Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订阅 Topic 的每个分区。 在 Rebalance 过程中，所有 Consumer 实例都会停止消费，等待 Rebalance 完成。 Rebalance 的弊端： 1
阅读全文
摘要：Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。 Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更为常见一些。 Group ID 是一个字符串，在一个 Ka
阅读全文
摘要：消息交付可靠性保障，是指 Kafka 对 Producer 和 Consumer 要处理的消息提供什么样的承诺。常见的承诺有以下三种： 最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。 至少一次（at least once）：消息不会丢失，但有可能被重复发送。 精确一次（e
阅读全文
摘要：Producer： 1.什么时候创建TCP连接？ 在创建 KafkaProducer 实例时，生产者应用会在后台创建并启动一个名为 Sender 的线程，该 Sender 线程开始运行时首先会创建与 Broker 的连接。 而且由于没调用send，其实不知道给哪个broker发送，所以是连接 boo
阅读全文
摘要：Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证 已提交，commit，若干个（可用配置设置） Broker 成功地接收到一条消息并写入到日志文件后，它们会告诉生产者程序这条消息已成功提交。 有限度，假如你的消息保存在 N 个 Kafka Broker 上，
阅读全文
摘要：以下都是最好显示设置的参数： 1.log.dirs = /home/kafka1,/home/kafka2,/home/kafka3 指定了 Broker 需要使用的若干个文件目录路径。（还有一个log.dir参数用于补充log.dirs的单个路径配置，但基本不用，配置log.dirs即可） 多路径
阅读全文
摘要：一、存储空间计算 假设公司有个业务每天需要向 Kafka 集群发送 1 亿条消息，每条消息保存两份以防止数据丢失，另外消息默认保存两周时间。现在假设消息的平均大小是 1KB，那么 Kafka 集群需要为这个业务预留多少磁盘空间？ 每天 1 亿条 1KB 大小的消息，保存两份且留存两周的时间，那么总的
阅读全文
摘要：1.多个Broker进程分散到不同机器上。 2.备份机制（Replication）。相同的数据拷贝到多台机器。 备份（副本）机制：副本，本质就是一个只能追加写消息的提交日志 提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 提供高伸缩性。支持横向扩展，能
阅读全文
摘要：Apache Kafka 是一款开源的消息引擎系统（支持可重用、通用的传输消息中间件）。 支持以下模型： 1.点对点（一对一）。2.发布/订阅（多对多）。 同时也是分布式流平台。用于处理两类问题： 1.数据正确性不足。数据收集轮询的间隔时间是一个高度经验化的问题。 2.系统高度定制化（每个子系统对接
阅读全文
