构建kafka集群

 本文档是在本机上构建多节点的kafka集群

 

standalone版的请参考

https://www.cnblogs.com/pageBlog/p/11379364.html

 

1. 首先将配置文件拷贝多份

cp config/server.properties config/server-1.properties

cp config/server.properties config/server-2.properties

2. 修改对应的配置文件

3. 启动这两个节点

bin/kafka-server-start.sh config/server-1.properties &

bin/kafka-server-start.sh config/server-2.properties &

4. 创建一个新话题

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

5. 查看话题详细信息:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

 

6. 可以看下我们单节点创建的话题有什么区别:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

7. 发布一些信息:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

8. 消费消息:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

 

9. 进行容错测试,由于之前查看详细信息的时候,server1是主节点,所以这里干掉server1

10. 再次查看,发现已经切到节点0为主节点了:bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

11. 消费信息,还是可以获取到:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

 

参考文档:

http://kafka.apache.org/quickstart

posted @ 2019-08-19 21:00  到三国卖栗子  阅读(122)  评论(0编辑  收藏  举报