摘要： Kafka 2.3新功能：限定Broker端入站连接总数 阅读全文

摘要： 这个问题来源于我书中引用的一幅图： 我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s，SSD的顺序I/O性能指标是42.2M values/s，而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义，但既 阅读全文

摘要： 最近思路有些枯竭，找些务虚的话题来凑。本文内容完全来自于Martin Kelppmann在2019年Kafka伦敦峰会上的演讲。顺便提一句，Kelppmann是《Designing Data-Intensive Applications》的作者。提起DDIA的大名想必各位应该是有所耳闻的。 Apac 阅读全文

摘要： Kafka consumer中poll(0)与poll(Duration.ofMills(0))的区别 阅读全文

摘要： 之前写过如何用服务器端的API代码来获取订阅某topic的所有consumer group，参见这里。使用服务器端的API需要用到kafka.admin.AdminClient类，但是这个类在0.11.0.0版本已经被标记为不推荐使用了，故目前最合适的方式还是通过客户端API：org.apache. 阅读全文

摘要： 所有的讨论都是基于KIP-291展开的。抱歉，这又是一篇没有图的文字。 目前Kafka broker对所有发过来的请求都是一视同仁的，不会区别对待。不管是用于生产消费的PRODUCE和FETCH请求，还是controller端发送的LeaderAndIsr/StopReplica/UpdateMet 阅读全文

摘要： 之前写过一篇Kafka ACL使用实战，里面演示了如何配置SASL PLAIN + ACL来为Kafka集群提供认证/权限安全保障，但有一个问题经常被问到：这种方案下是否支持动态增加/移除认证用户——这里给出明确的答案：不可以！因为所有认证用户信息全部配置在静态的jaas文件中，故无法在不重启bro 阅读全文

摘要： Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(G 阅读全文

摘要： 本篇是《关于Kafka producer管理TCP连接的讨论》的续篇，主要讨论Kafka java consumer是如何管理TCP连接。实际上，这两篇大部分的内容是相同的，即consumer也是把TCP连接的管理交由底层的Selector类(org.apache.kafka.common.netw 阅读全文

摘要： 碰到了有人问起这个问题，目前java consumer没有利用OffsetAndMetadata中的metadata字段记录提交的时间，故直接通过java consumer来查询是不行，我们需要直接读取__consumer_offsets，代码如下: 阅读全文