kafka常用指令

显示topic列表

bin/kafka-topics.sh --zookeeper zk01:2181,zk02:2181,zk03:2181 --list
也可以从一个节点上查看。下面简写查看一个节点。

创建一个topic，并指定topic属性（副本数、分区数等）

bin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 3 --topic test

--partitions（分区）应等于或大于消费者，--replication-factor（副本数）不能大于kafka集群内主机节点

查看某个topic的状态

bin/kafka-topics.sh --zookeeper zk01:2181 --topic test --describe

查看消费偏移量

./kafka-consumer-groups.sh --zookeeper zk01:2181 --describe --group logstash-devlog

重置消费偏移量（--group logstash-devlog 指定消费组为logstash-devlog --topic deviceRequestLog:33 指定Topic deviceRequestLog的33分区 --to-offset 125223 指定偏移量为125223）

./bin/kafka-consumer-groups.sh --bootstrap-server zk01:9092 --reset-offsets --all-topics --all-groups --to-latest --execute

./bin/kafka-consumer-groups.sh --bootstrap-server zk01:9092 --group logstash-devlog --reset-offsets --topic deviceRequestLog:33 --to-offset 125223 --execute

生产消息

bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test

消费消息

bin/kafka-console-consumer.sh --bootstrap-server PLAINTEXT://kafka01:9092 --topic test

查看实时消息，如果从头看可在后面加 --from-beginning

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

删除topic

bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test