CentOS7安装Kafka集群

写在前面

安装kafka集群必须保证zookeeper是正常的，zookeeper安装配置教程见《CentOS7安装Zookeeper集群》

软件下载

自行下载需要的版本，提供kafka_2.11-2.4.1.tgz百度云下载链接

解压缩

tar xzvf kafka_2.11-2.4.1.tgz -C /opt/module/

软件安装目录凭个人喜好,可以将解压缩改个名字

创建logs目录

cd kafka
mkdir logs

修改配置文件

vim /opt/module/kafka/config/server.properties

#修改broker.id,集群中每个节点需要保证不一致
broker.id=0
#增加删除topic功能
delete.topic.enable=true
#修改kafk运行日志存放路径，实际存放的是topic数据
log.dirs=/opt/module/kafka/data
#修改zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

增加环境变量

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

分发到其它节点

xsync kafka

分发脚本见《集群分发脚本》

修改hadoop103和hadoop104的broker.id为1、2

省略

启动集群

kf.sh start

脚本见《kafka集群脚本》

查看集群

jpsall

脚本见《jpsall脚本》