kafka 获取topic每个分区的数据条数

执行命令

[hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.43.15:9092 --topic test  --time -1
test:0:992786
test:1:1001516
test:2:1000773
test:3:1000894
test:4:1004034
[hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.43.15:9092 --topic test  --time -2
test:0:0
test:1:0
test:2:0
test:3:0
test:4:0
[hduser@hadoop4 bin]$ kafka-run-class.sh kafka.tools.GetOffsetShell 
An interactive shell for getting topic offsets.
Option                                 Description                            
------                                 -----------                            
--broker-list <String: hostname:       REQUIRED: The list of hostname and     
  port,...,hostname:port>                port of the server to connect to.    
--max-wait-ms <Integer: ms>            DEPRECATED AND IGNORED: The max amount 
                                         of time each fetch request waits.    
                                         (default: 1000)                      
--offsets <Integer: count>             DEPRECATED AND IGNORED: number of      
                                         offsets returned (default: 1)        
--partitions <String: partition ids>   comma separated list of partition ids. 
                                         If not specified, it will find       
                                         offsets for all partitions (default: 
                                         )                                    
--time <Long: timestamp/-1(latest)/-2  timestamp of the offsets before that.  
  (earliest)>                            [Note: No offset is returned, if the 
                                         timestamp greater than recently      
                                         commited record timestamp is given.] 
                                         (default: -1)                        
--topic <String: topic>                REQUIRED: The topic to get offset from.

2、获取条数

从上述的命令解析可以看到,
--time -1 表示获取的最新位移值
--time -2 表示获取的最早的位移值,可能由于最早的数据由于过期被删除,所以最早的位移不一定是0
通过两数相减,就可以知道当前分区的数据条数。

posted @   北漂-boy  阅读(9229)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 【译】Visual Studio 中新的强大生产力特性
· 2025年我用 Compose 写了一个 Todo App
· 张高兴的大模型开发实战:(一)使用 Selenium 进行网页爬虫
点击右上角即可分享
微信分享提示