Kafka集群安装

Kafka集群安装

这里是装三个kakfa

去官网https://kafka.apache.org/下载安装包 或者https://kafka.apache.org/downloads

这里下载的 kafka_2.12-3.0.0.tgz

下载好后，解压到你想存放的目录

这里解压到/opt/module下

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module

在解压后的kafka目录下创建logs文件夹

cd /opt/module/kafka_2.12-3.0.0
mkdir logs

然后去到kafka目录下的config文件下修改server.properties配置文件

cd /opt/module/kafka_2.12-3.0.0/config
vim server.properties

修改或者新增以下内容

#broker是全局唯一的编号，不能重复
broker.id=0

#开启真正删除topic的功能
delete.topic.enable=true

#存放主题消息数据的路径
log.dirs=/opt/module/kafka_2.12-3.0.0/data

#配置连接zookeeper集群地址。  
#之所在集群地址后有个/kafka，是不想kafka的元数据放在zookeeper的根节点下，而是想放在zookeeper节点下的kafka节点，这样手动去zookeeper根节点找kafka元数据的时候，好看分辨点。
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181/kafka

配置环境变量

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka_2.12-3.0.0
export PATH=$PATH:$KAFKA_HOME/bin

分发安装包到其他两台服务器上或者手动再次在其他两台服务器上按上述操作安装kafka

注意后面两个kafka的server.properties配置文件，broker.id分别弄成1和2。即broker.id=1 broker.id=2

broker.id不得重复

群起脚本参考：

#!/bin/bash

case $1 in
"start"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/server.properties "
    done
};;
"stop"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-stop.sh"
    done
};;
esac