kafka常用命令整理

kafka常用命令整理

kafka信息查看

查看kafka中topic列表

 ./kafka-topics.sh --list --zookeeper localhost:2181

查看topic的描述信息

# --zookeeper为zookeeperIP, --topic为topic名称 
./kafka-topics.sh --describe --zookeeper xx.x.xxx.xxx:2181 --topic xxxxx

消费kafka

 # 若没有任何返回或没有响应，则该topic中没有数据内容；否则有
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic xxxxx --from-beginning 

创建topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

向kafka写入数据

./kafka-console-producer.sh --broker-list localhost:9092 --topic test1

kafka查看消费组进度

按照组消费数据

./kafka-console-consumer.sh --bootstrap-server myhost:9092 --topic mytopic --consumer-property group.id=mygroup

查看所有组

kafka-consumer-groups --bootstrap-server localhost:9092 --list

查看消费情况

kafka-consumer-groups --describe --bootstrap-server localhost:9092 --group B2-DAY-MAX

执行输出

指定自己的分组，自己消费的topic会显示kafka总共有多少条数据，以及被消费了多少条

标记解释

字段	解释	字段	解释
TOPIC	topic名字	PARTITION	分区id
CURRENT-OFFSET	当前已消费的条数	LOG-END-OFFSET	总条数
LAG	未消费的条数	CONSUMER-ID	消费id
HOST	主机ip	CLIENT-ID	客户端id