zookeeper + kafka 集群安装部署教程（linux环境下）

说明：教程使用4台服务器，1台用作zookeeper，3台用kafka

必备条件:jdk

kafka自带zookeeper 也可以使用kafka内置的zookeeper

一、zookeeper下载安装

1、首先去官网下载zookeeper：https://downloads.apache.org/zookeeper/

 

 进入目录下载

2、下载好放到一台zookeeper服务器上面解压

tar zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ./

 

 3、进入conf目录下，复制zoo_sample.cfg文件，名字为zoo.cfg (不然启动找不到该文件)

cd ./apache-zookeeper-3.5.7-bin/conf
cp zoo_sample.cfg ./zoo.cfg

4、启动服务

#启动
sh zkServer.sh start
#查看启动状态
sh ./zkServer.sh status

启动成功

 

 

 

二、kafka下载安装

 

1、首先去官网下载zookeeper：http://kafka.apache.org/downloads

 

 

 

 

 

 

2、下载好放到kafka服务器上面解压

tar zxvf kafka_2.12-2.3.0.tgz -C ./

3、在config目录下配置集群

vi server.properties

1、把broker.id改0，1，2 三台机器不一样

broker.id=0

 

 

 2、把listeners生效，并加上本机ip

listeners=PLAINTEXT://本机ip:9092

 3、指定zookeeper连接地址，改为zookeeper服务器地址

zookeeper.connect=192.168.88.137:2181

 4、启动kafka，三台机器启动

sh kafka-server-start.sh -daemon ../config/server.properties
#查看zookeeper
ps -ef|grep zookeeper

 可以看kafka日志文件是否有报错

 

 

 启动完成后，查看zookeeper集群连接情况

1.进入zookeeper的bin目录下执行

sh zkCil.sh

#查看 执行
ls /

#查看连接情况
ls /brokers/ids

 

 

 

 5、任意一台机器  新建topic

sh kafka-topics.sh --create --zookeeper 192.168.88.137:2181 --replication-factor 1 --partitions 1 --topic test
 
 #说明
 #192.168.88.137:2181  ###这是zookeeper服务ip+端口号
 #test ###这是topic

 

 

 6、使用任意一台kafka服务器做生产者

sh kafka-console-producer.sh --broker-list 192.168.88.132:9092 --topic test

7、使用三台kafka消费

./kafka-console-consumer.sh --bootstrap-server 192.168.88.132:9092 --topic test --from-beginning

 

 动态图如下：