摘要： 继续前一篇的讨论。前文中提到了两大类配额管理：基于带宽的以及基于CPU线程使用时间的。本文着重探讨基于CPU线程时间的配额管理。 定义 这类配额管理被称为请求配额(request quota)，管理起来非常简单，能够调节的参数只有一个：request_percentage。该参数是一个百分比。假设设 阅读全文

摘要： Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理： 网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位是字节/秒 阅读全文

摘要： 本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。 原文地址是https://data-artisans.com/blog/end-to-end-exactly-once-processing-apache-flink-apache-kafka 阅读全文

摘要： 经常有人问的一个问题就是：Kafka broker到底是不是无状态的？网上有这样的说法： 正常情况下consumer会在消费完一条消息后线性增加这个offset。当然，consumer也可将offset设成一个较小的值，重新消费一些消息。因为offet由consumer控制，所以Kafka brok 阅读全文

摘要： 一、含义 CommitFailedException异常：位移提交失败时候抛出的异常。通常该异常被抛出时还会携带这样的一段话： Commit cannot be completed since the group has already rebalanced and assigned the par 阅读全文

摘要： 众所周知，__consumer__offsets是一个内部topic，对用户而言是透明的，除了它的数据文件以及偶尔在日志中出现这两点之外，用户一般是感觉不到这个topic的。不过我们的确知道它保存的是Kafka新版本consumer的位移信息。本文我们简单梳理一下这个内部topic(以1.0.0代码 阅读全文

摘要： 关于Kafka日志留存(log retention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka 1.0.0作为分析对象。 所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下 阅读全文

摘要： 很多用户都有这样的需求：实时监控某个topic各分区在broker上所占的磁盘空间大小总和。Kafka并没有提供直接的脚本工具用于统计这些数据。 如果依然要实现这个需求，一种方法是通过监控JMX指标得到分区当前总的日志大小，然后手动相加所有分区的值得出；另一种方法就是使用1.0.0引入的Descri 阅读全文

摘要： 在网上碰到的问题，想了下使用现有的API还是可以实现的。 首先，需要引入Kafka服务器端代码，比如加入Kafka 1.0.0依赖： Maven <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</arti 阅读全文

摘要： 千呼万唤始出来，经过7年的发展与完善，Apache Kafka 1.0.0正式发布！在笔者看来，比起1.0.0引入的新功能，此版本最大的意义在于标识Kafka各种组件功能的稳定性。不过我们还是来看下1.0.0引入的一些新功能： Kafka Streams API的优化：增加了一些全新的操作算子(op 阅读全文