kafka2.5.1集群部署

kafka2.5.1的集群部署

1 规划

名称	版本
gcw1	kafka2.5.1
gcw2	kafka2.5.1
gcw3	kafka2.5.1

2 下载解压

华为镜像

## 解压
[root@gcw1 src]# tar  -zxvf kafka_2.13-2.5.1.tgz  -C   /opt/app
## 创件软连接
[root@gcw1 src]# cd /opt/app/
[root@gcw1 app]# ln -s kafka_2.13-2.5.1/ kafka

3 修改环境变量

vi /etc/profile 添加

export KAFKA_HOME=/opt/app/kafka
export PATH=$KAFKA_HOME/bin:$PATH

## 使配置文件生效
source /etc/profile

4 修改配置

4.1 配置

[root@gcw1 config]# cd /opt/app/kafka/config/
[root@gcw1 config]# vi server.properties 

主要有以下几项需要配置，其他默认即可

broker.id=0
listeners=PLAINTEXT://gcw1:9092
log.dirs=/data/kafka/kafka-logs
zookeeper.connect=gcw1:2181,gcw2:2181,gcw3:2181/kafk

这是gcw1主机上配置

4.3 分发修改

cd /opt/app/
scp -r kafka_2.13-2.5.1/ gcw2:`pwd`
scp -r kafka_2.13-2.5.1/ gcw3:`pwd`

参照上述创建软连接，配置环境变量，修改配置

broker.id=1
listeners=PLAINTEXT://gcw2:9092

broker.id=2
listeners=PLAINTEXT://gcw3:9092

5 启动测试

5.1 需要先启动

zk部署

## 配置的主机都需要启动
zkServer.sh start

5.2 启动kafka

kafka-server-start.sh -daemon  /opt/app/kafka/config/server.properties

初次启动如果出错的话，可以不加 -daemon，可以控制台打印日志，便于查看，排查完毕可以加 -daemon后台启动

5.3 测试

执行命令不报错即可

[root@gcw1 kafka]# kafka-topics.sh --bootstrap-server gcw3:9092 --list
__consumer_offsets