kafka常用命令

进入kafka服务bin目录

查看主题
./kafka-topics.sh --list --bootstrap-server 10.1.1.2:9092


创建主题
./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --create --topic mytopic --partitions 1


查看消费者列表-list
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --list


查看i肖费者组详情--describe
查看指定消费组详情---group
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --group defaultConsumerGroup


查看所有消费组详情-all-groups
./kafka-consumer-groups.sh -bootstrap-server 10.1.1.2:9092 --describe --all-groups


查询消费者成员信息--members
所有消费组成员信息
./kafka-consumer-groups.sh --describe -all-groups --members --bootstrap-server 10.1.1.2:9092


指定消费组成员信息
./kafka-consumer-groups.sh --describe --members --group defaultConsumerGroup --bootstrap-server 10.1.1.2:9092


修改到最新offset
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets -topic mytopic --to-latest --execute

重设位移位置
./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group defaultConsumerGroup --reset-offsets --topic mytopic --to-offset 100 --execute

重设位移有几种选项:
--to-earliest:设置到最早位移处,也就是0
--to-latest:设置到最新处,也就是主题分区HW的位置
--to-offset NUM:指定具体的位移位置
--shift-by NUM:基于当前位移向前回退多少
--by-duration:回退到多长时间


消费组参数说明:
CURRENT-OFFSET:当前消费者位移
LOG-END-OFFSET:分区最新位移
LAG: LOG-END-OFFSET减去CURRENT-OFFSET的值,表示积压量
CONSUMER-ID:是Kafka自己生成的
CLIENT-ID:是i肖费者代码里写的CLIENT ID,用于区分同消费者组中的不同客户端
删除指定topic与数据
./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --delete --topic inventory_topic


全局设置
修改server properties,如下的值:
log retention.hours=72
log cleanup.policy=delete
单独对某ftopics置过期时间
但如果只有某ftopic数据量过大想单独对这个topic的过期时间设置短点:
./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention ms=86400000

# retention ms=86400000 为一天,单位是毫秒。


查看设置:
$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics
Configs for topics:wordcounttopic are retention.ms=86400000


立即删除某个topic下的;
./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete

 

 

 

 

 参考:https://blog.csdn.net/qq_43753286/article/details/132031317

 

 

 

posted @ 2024-01-23 16:42  along_bro  阅读(9)  评论(0编辑  收藏  举报