apache 大数据平台搭建(kafka)

安装前提:已经搭建好zookeeper集群并能正常运行zookeeper

一.下载并上传安装包到服务器

官网下载安装包即可

二.安装kafka

1.解压kafka

进入kafka安装包所在路径,执行解压命令

tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2.修改配置文件

进入config目录

cd config/
vi server.properties

#修改或者增加以下内容：
#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/data
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181/kafka

3.配置环境变量并分发安装包

sudo vi /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

sudo source /etc/profile.d/my_env.sh

分发安装包到hadoop102,hadoo103,并修改config/server.properties文件broke.id值

4.配置脚本

#!/bin/bash

case $1 in
"start"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-2.4.1/config/server.properties "
    done
};;
"stop"){
    for i in hadoop101 hadoop102 hadoop103
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka_2.11-2.4.1/bin/kafka-server-stop.sh stop"
    done
};;
esac

二.kafka常用命令

#创建topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka --create --replication-factor 3 --partitions 1 --topic first
#查看topic
kafka-topics.sh --zookeeper hadoop101:2181/kafka --list
#kafka控制台生产者
kafka-console-producer.sh --broker-list hadoop101:9092 --topic first
#kafka控制台消费者
kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first
#查看topic详情
bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --describe --topic first
#修改分区数
kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic first --partitions 6
#删除topic
kafka-topics.sh --zookeeper hadoop102:2181/kafka --delete --topic first
注意:需要server.properties中设置delete.topic.enable=true否则只是标记删除


#用的比较多的就上面这几个命令,另外可以通过帮助文档查看具体使用方式
例如kafka-topic.sh命令: