kafka3.7 集群部署

kafka

1、介绍

1.1 常见的消息中间件

生产者只需要向缓冲区发送消息

消费者只需要拿取自己关注的消息

1.2 kafka

2、修改配置

zookeeper配置修改

vim config/zookeeper.properties

修改如下：

dataDir=/app/kafka_2.13-3.7.1/zookeeper/data
dataLogDir=/app/kafka_2.13-3.7.1/zookeeper/logs
clientPort=2181

# 连接控制 以下分别为 客户端最大连接数、心跳(ms)、初始化连接心跳次数、通信心跳次数
maxClientCnxns=3000
tickTime=2000
initLimit=10
syncLimit=5


# 集群参数
server.1=192.168.6.101:2888:3888
server.2=192.168.6.102:2888:3888
server.3=192.168.6.103:2888:3888

kafka配置修改

vim config/server.properties

修改如下

broker.id=1

###listeners
listeners=PLAINTEXT://192.168.6.102:9092
advertised.listeners=PLAINTEXT://192.168.6.102:9092

####request
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

###log
#路径、保存时间、大小、循环查看日志是否删除
log.dirs=/app/kafka_2.13-3.7.1/kafka/logs
log.retention.hours=72
log.segment.bytes=104857600
log.retention.check.interval.ms=300000
#在启动时恢复日志、关闭时刷盘日志每个数据目录的线程的数量，默认1。
num.recovery.threads.per.data.dir=1
#消息体的最大值
message.max.bytes=10485760

####topic
num.partitions=1
#是否允许自动创建topic，若是false，就需要通过命令创建topic
auto.create.topics.enable=true
delete.topics.enable=true

#偏移量
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1


####zookeeper连接
zookeeper.connect=192.168.6.101:2181,192.168.6.102:2181.192.168.6.103:2181
zookeeper.connection.timeout.ms=6000

####group参数
group.initial.rebalance.delay.ms=0

新增myid文件

echo "1" > /data/kafka/zookeeper/data/myid

3、设置启停文件

启停文件

zk.sh

#!/bin/bash

if [ ! -n "$1" ];
then
    echo "请输入start 或者 stop  其他命令不支持"
fi

if [ "$1" = "start" ]; then
    for (( i=101 ; i <= 103 ; i = $i + 1 )) ; do
        echo "============= joe$i zk start ============="
        ssh joe$i "/data/kafka/bin/zookeeper-server-start.sh -daemon /data/kafka/config/zookeeper.properties"
    done
fi

if [ "$1" = "stop" ]; then
    for (( i=101 ; i <= 103 ; i = $i + 1 )) ; do
        echo "============= joe$i zk stop ============="
        ssh joe$i "/data/kafka/bin/zookeeper-server-stop.sh"
    done
fi

kafka.sh

#!/bin/bash

if [ ! -n "$1" ]; 
then
    echo "请输入start 或者 stop  其他命令不支持"
fi

if [ "$1" = "start" ]; then
    for (( i=101 ; i <= 103 ; i = $i + 1 )) ; do
        echo "============= joe$i kafka start ============="
        ssh joe$i "/data/kafka/bin/kafka-server-start.sh -daemon /data/kafka/config/server.properties"
    done
fi

if [ "$1" = "stop" ]; then 
    for (( i=101 ; i <= 103 ; i = $i + 1 )) ; do
        echo "============= joe$i kafka stop ============="
        ssh joe$i "/data/kafka/bin/kafka-server-stop.sh"
    done
fi

4、kafka常用命令

4.1 主题

创建名为joesen的主题

bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic school  --partitions 1

查看主题

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

查看主题详情

bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic school

删除主题

bin/kafka-topics.sh --bootstrap-server localhost:9092  --delete --topic school

4.2 消息

生产消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic school

消费消息

5、kafka客户端可视化工具