kafka常用指令

1. 前言

kafka作为数据中间键在数据服务解耦，大数据，日志方面堪称一把瑞士军刀，备受青睐，作为提供了一套完整命令行的程序，日常进行调试过程中难免会用到一些指令，现总结18条最常用指令。

2. 常用指令

1. 启动消费者

   bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -topic quickstart-events --from-beginning
   

2. 启动生产者

   bin/kafka-console-producer.sh --broker-list localhost:9092 --topic quickstart-events
   

3. 启动zookeeper

   /mnt/d/wsl/kafka_2.12-2.8.0# bin/zookeeper-server-start.sh config/zookeeper.properties
   

4. 启动kafka服务端进程

   /mnt/d/wsl/kafka_2.12-2.8.0# bin/kafka-server-start.sh config/server.properties
   

5. 创建topic

   bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181
   

6. 查看topic

   bin/kafka-topics.sh --list --zookeeper localhost:2181
   

7. 查看所有topic

   ./bin/kafka-topics.sh --zookeeper localhost:2181 --list 
   

8. 删除某个topic

   bin/kafka-topics.sh --delete --topic synch.postgres_db  --zookeeper localhost:2181
   

9. 查看topic详情

   bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic soar_alarm --describe
   

10. 查看topic消费进度，必须参数为--group， 不指定--topic，默认为所有topic

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service
    

11. 列出所有主题中的所有用户组

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members
    
    # 输出
    CONSUMER-ID                                  HOST            CLIENT-ID       #PARTITIONS
    rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24  rdkafka         1
    

12. 删除消费者组

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --delete --group merge_data_service
    

13. 通过 state 参数来查看消费组当前的状态

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --state
    
    # 输出
    COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
    linkage:9094 (1001)       range                     Stable               1
    

14. 通过 verbose 参数，那么还会罗列出每个消费者成员的分配情况

    bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members --verbose
    
    # 输出
    CONSUMER-ID                                  HOST            CLIENT-ID       #PARTITIONS     ASSIGNMENT
    rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24  rdkafka         1               soar_alarm_merge(0)
    
    

15. 查看所有消费者组

    ./bin/kafka-consumer-groups.sh --bootstrap-server 10.48.93.9:9092 --list
    # 输出
    sabre.monitor
    merge_data_service
    rule_data_topic
    test-consumer-gr
    filebeat-soar
    salmon_groupid_002
    

16. 查看 集群版 topic详情

    ./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181  --describe --topic test05
    

17. 获取某个topic每个分区的文件条目

    ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic SOAR_OCNN57
    

18. 彻底删除topic

    # 进入zookeeper客户端
    zookeeper-client
    rmr /admin/delete_topics/soar_alarm_merge
    rmr /brokers/topics/soar_alarm_merge