构建kafka集群
本文档是在本机上构建多节点的kafka集群
standalone版的请参考
https://www.cnblogs.com/pageBlog/p/11379364.html
1. 首先将配置文件拷贝多份
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
2. 修改对应的配置文件
3. 启动这两个节点
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
4. 创建一个新话题
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic
5. 查看话题详细信息:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic
6. 可以看下我们单节点创建的话题有什么区别:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test
7. 发布一些信息:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
8. 消费消息:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
9. 进行容错测试,由于之前查看详细信息的时候,server1是主节点,所以这里干掉server1
10. 再次查看,发现已经切到节点0为主节点了:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic
11. 消费信息,还是可以获取到:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
参考文档: