Kafka相关操作

Kafka相关操作

启动

bin/zookeeper-server-start config/zookeeper.properties & bin/kafka-server-start config/server.properties

查看当前所有topic

kafka-topics --list --bootstrap-server 127.0.0.1:9092

创建topic

kafka-topics --create --bootstrap-server 127.0.0.1:9092 --replication-factor 2 --partitions 3 --topic test-topic

删除kafka的topic

kafka-topics --bootstrap-server 127.0.0.1:9092 --topic test-topic --delete

查看当前某一topic分区和副本情况

kafka-topics --describe --bootstrap-server 127.0.0.1:9092 --topic test-topic

修改分区数目

kafka-topics --bootstrap-server 127.0.0.1:9092 --alter --partitions 42 --topic test-topic

生产者

kafka-console-producer --bootstrap-server 127.0.0.1:9092 --topic test-topic --from-beginning

消费者

kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test-topic --from-beginning

关闭kafka&zookeeper

/usr/local/Cellar/kafka/2.5.0/bin/kafka-server-stop & /usr/local/Cellar/kafka/2.5.0/bin/zookeeper-server-stop

保证高可靠性

topic的配置：replication.factor>=3,即副本数至少是3个；2<=min.insync.replicas<=replication.factor
broker的配置：leader的选举条件unclean.leader.election.enable=false
producer的配置：request.required.acks=-1(all)，producer.type=sync