Kafka学习-入门

http://www.cnblogs.com/wxgblogs/p/6597494.html

 

在进行如下配置前，首先要启动Zookeeper。

配置单机kafka

1.进入kafka解压目录 
2.启动kafka

1	bin\windows\kafka-server-start config\server.properties

 3.创建Topic和查看机器上topic

1 2	bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic1 bin\windows\kafka-topics --list --zookeeper localhost:2181

 
4.发送数据

1	bin\windows\kafka-console-producer --broker-list localhost:9092 --topic topic1

5.开始消费数据 

1	bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic1 --from-beginning

 

配置kafka集群

1.复制server.properties文件，并修改文件配置

1 2 3

broker.id=2 listeners=PLAINTEXT://:9094 log.dirs=E:\kafka_2.11-0.10.2-2\log

 2.启动kafka

1 2	bin\windows\kafka-server-start config\server-1.properties bin\windows\kafka-server-start config\server-2.properties

 3.创建topic，然后查看集群详细信息

1 2	bin\windows\kafka-topics --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic topic-cluster bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster

 

　　第一行详细描述topic-cluster这个topic的集群信息。主要包括topic名称、分区数目、复制因子。后面的每一行描述一个分区信息，Partition：0表示该分区编号为0；Leader：0，表示该分区的Leader的broker.id为0；replicas为所在的broker.id;该分区的ISR为0、1、2.

4.向kafka集群发送数据

1	bin\windows\kafka-console-producer --broker-list localhost:9092 --topic topic-cluster

 

5.开始消费数据

1	bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning

 6.测试kafka集群失败恢复 杀死leader进程
7.查看集群信息

1	bin\windows\kafka-topics --describe --zookeeper localhost:2181 --topic topic-cluster

 

　　此时可以发现，该分区的Leader和ISR都发生了改变.

8.重新消费数据

bin\windows\kafka-console-consumer --bootstrap-server localhost:9092 --topic topic-cluster --from-beginning

下一篇：Kafka学习-生产者和消费者