KAFKA常用命令

  1 # 创建主题 my-topic1   副本(replication-factor) 3   分区(partitions)3
  2 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --create --topic my-topic1 --replication-factor 3 --partitions 3
  3 
  4 # 增加分区到16 参数 --alter  --partitions
  5 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --alter --partitions 16
  6 
  7 # 删除主题 --delete，为了能够删除主题，broker的delete.topic.enable参数必须设置为true。如果该参数被设为false,删除主题的请求会被忽略。默认为false.
  8 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --delete
  9 
 10 # 列车所有主题
 11 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --list
 12 log-format
 13 my-topic
 14 my-topic1 - marked for deletion
 15 test
 16 
 17 # 列出所有主题的详细信息。参数 --describe
 18 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe
 19 
 20 # 列出所有包含不同步副本的分区。参数 --under-replicated-partitions
 21 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --under-replicated-partitions
 22 
 23 # 列车所有没有首领的分区，这些分区是离线状态，对于生产者和消费者来说是不可用的。参数--unavailable-partitions
 24 ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --unavailable-partitions 
 25 
 26 ###消费者群组，使用kafka-consumer-group.sh工具可以用于列出消费者群组
 27 # 旧版本的消费者客户端，可以使用--zookeeper和list参数列出消费者群组；
 28 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181 --list
 29 Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).
 30 console-consumer-71980
 31 
 32 # 使用新版本的消费者客户端时，则要使用--bootstarap-server、--list和--new-consumer参数
 33 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --list
 34 
 35 # 使用--describe替代--list，并通过--group指定特定的群组，获取该群组的详细信息。它会列出群组里所有主题的信息和每个分区的偏移量
 36 # 旧版本
 37 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --group console-consumer-71980
 38 
 39 # 新版本
 40 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --describe --group console-consumer-71980
 41 
 42 # 删除群组
 43 # 只有旧版本的消费者客户端才支持删除群组的操作。删除群组操作将从zookeeper上移除整个群组，包括所有已保存的偏移量。在执行前，必须关闭所有的消费者。
 44 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981
 45 # 删除群组-指定主题
 46 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 --topic my-topic
 47 
 48 ## 偏移量管理
 49 # 导出偏移量
 50 # ./bin/kafka-run-class.sh kafka.tools.ExportZkOffsets -zookeeper 192.168.37.130:2181 --group console-consumer-71981 --output-file filename
 51 
 52 # 手动修改偏移量
 53 # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carInfoUp --to-offset 17307399 --execute
 54 
 55 # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carServiceInfoUp --to-offset 3755699 --execute
 56 
 57 # 查看偏移量
 58 # ./bin/kafka-console-consumer.sh --bootstrap-server 172.18.2.50:9092 --topic carServiceAlteration2 --from-beginning
 59  
 60  
 61  
 62 # 查看消费组
 63 # ./kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --list
 64 
 65 ./kafka-topics.sh --zookeeper 172.18.106.202:2181 --topic parkOutUp2 --describe
 66 
 67 
 68 # 查看消费组
 69 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --list
 70 
 71 # 查看数据积压偏移量
 72 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|grep -w bishan.mcity.park.in 
 73 
 74 # 查看大于100的数据积压偏移量
 75 ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|awk '{if (int($5)>100) { print $1,$5,$7}}'|sort -n
 76 
 77 
 78 
 79 
 80 
 81 
 82 
 83 
 84 
 85 1.查看topic的详细信息 
 86 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 
 87  
 88 2、为topic增加副本 
 89 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute 
 90  
 91 3、创建topic 
 92 ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1 
 93  
 94 4、为topic增加partition 
 95 ./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1 
 96  
 97 5、kafka生产者客户端命令 
 98 ./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1 
 99  
100 6、kafka消费者客户端命令 
101 ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1 
102  
103 7、kafka服务启动 
104 ./kafka-server-start.sh -daemon ../config/server.properties  
105  
106 8、下线broker 
107 ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 
108 shutdown broker 
109  
110 9、删除topic 
111 ./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181 
112 ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1 
113  
114 10、查看consumer组内消费的offset 
115 ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1