kafka集群安装

kafka集群安装

前提：安装成功zookeeper

1.下载

到apache官网下载对应的kafka

2.解压

# tar -zxvf kafka_2.12-3.1.0.tgz -C /opt

 

3.修改配置文件

进入conf/目录修改server.properties中的部分配置

# The id of the broker. 集群中每个节点的唯一标识
broker.id=0
# 监听地址
listeners=PLAINTEXT://hadoop01:9092
# 数据的存储位置
log.dirs=/opt/kafka_2.12-3.1.0/kafka-logs/00
# Zookeeper连接地址
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka

 

分发server.properties

scp server.properties hadoop02:/opt/kafka_2.12-3.1.0/config/

scp server.properties hadoop03:/opt/kafka_2.12-3.1.0/config/

 

注意：Hadoop02，Hadoop03一定要修改broker.id

4.启动集群

前提：zookeeper启动

在每台机器上启动kafka

bin/kafka-server-start.sh -daemon /opt/kafka_2.12-3.1.0/config/server.properties

 

使用jps查看进程，如下说明成功