kafka 获取topic每个分区的数据条数
执行命令
[hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.43.15:9092 --topic test --time -1
test:0:992786
test:1:1001516
test:2:1000773
test:3:1000894
test:4:1004034
[hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.43.15:9092 --topic test --time -2
test:0:0
test:1:0
test:2:0
test:3:0
test:4:0
[hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell
An interactive shell for getting topic offsets.
Option Description
------ -----------
--broker-list <String: hostname: REQUIRED: The list of hostname and
port,...,hostname:port> port of the server to connect to.
--max-wait-ms <Integer: ms> DEPRECATED AND IGNORED: The max amount
of time each fetch request waits.
(default: 1000)
--offsets <Integer: count> DEPRECATED AND IGNORED: number of
offsets returned (default: 1)
--partitions <String: partition ids> comma separated list of partition ids.
If not specified, it will find
offsets for all partitions (default:
)
--time <Long: timestamp/-1(latest)/-2 timestamp of the offsets before that.
(earliest)> [Note: No offset is returned, if the
timestamp greater than recently
commited record timestamp is given.]
(default: -1)
--topic <String: topic> REQUIRED: The topic to get offset from.
2、获取条数
从上述的命令解析可以看到,
--time -1 表示获取的最新位移值
--time -2 表示获取的最早的位移值,可能由于最早的数据由于过期被删除,所以最早的位移不一定是0
通过两数相减,就可以知道当前分区的数据条数。
记录学习和生活的酸甜苦辣.....哈哈哈
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 2025年我用 Compose 写了一个 Todo App
· 张高兴的大模型开发实战:(一)使用 Selenium 进行网页爬虫