01 2019 档案

Kafka 2.1.0压缩算法性能测试
摘要：Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(G 阅读全文
posted @ 2019-01-28 18:07 huxihx 阅读(9342) 评论(11) 推荐(6) 编辑
关于Kafka java consumer管理TCP连接的讨论
摘要：本篇是《关于Kafka producer管理TCP连接的讨论》的续篇，主要讨论Kafka java consumer是如何管理TCP连接。实际上，这两篇大部分的内容是相同的，即consumer也是把TCP连接的管理交由底层的Selector类(org.apache.kafka.common.netw 阅读全文
posted @ 2019-01-04 09:53 huxihx 阅读(3330) 评论(5) 推荐(0) 编辑
Java API获取consumer group最新提交位移的时间
摘要：碰到了有人问起这个问题，目前java consumer没有利用OffsetAndMetadata中的metadata字段记录提交的时间，故直接通过java consumer来查询是不行，我们需要直接读取__consumer_offsets，代码如下: 阅读全文
posted @ 2019-01-03 11:52 huxihx 阅读(1805) 评论(15) 推荐(0) 编辑