CentOS8安装Kafka集群

规划

主机规划:
zookeeper服务 : node01、node02、node03、node04
kafka服务        : node01、node02、node03

kafka官网下载:https://kafka.apache.org/downloads
阿里镜像站下载:http://mirrors.aliyun.com/apache/kafka/2.8.1/kafka_2.12-2.8.1.tgz

下载、安装、启动

复制代码
node01主机:

1.kafka下载和解压
# wget http://mirrors.aliyun.com/apache/kafka/2.8.1/kafka_2.12-2.8.1.tgz
# tar -xvf  kafka_2.12-2.8.1.tgz  -C /opt
# cd /opt/kafka_2.12-2.8.1

根据官方文档操作:https://kafka.apache.org/quickstart

2.kafka配置文件
# vi /opt/kafka_2.12-2.8.1/config/server.properties broker.id=0  listeners=PLAINTEXT://node01:9092 log.dirs=/var/kafka-logs zookeeper.connect=node02:2181,node03:2181,node04:2181/kafka
3.kafka环境变量 # vi /etc/profile
export KAFKA_HOME
=/opt/kafka_2.12-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin
# source
/etc/profile
4.节点同步  个性化 # scp /etc/profile  node02:/etc/ # scp /etc/profile  node03:/etc/ ====== # scp -r   /opt/kafka_2.12-2.8.1  node02:/opt     递归复制 # scp -r   /opt/kafka_2.12-2.8.1  node03:/opt 

node02主机
# vi
/opt/kafka_2.12-2.8.1/config/server.properties broker.id=1 listeners=PLAINTEXT://node02:9092 log.dirs=/var/kafka-logs zookeeper.connect=node02:2181,node03:2181,node04:2181/kafka

node03主机
# vi
/opt/kafka_2.12-2.8.1/config/server.properties broker.id=2 listeners=PLAINTEXT://node03:9092 log.dirs=/var/kafka-logs zookeeper.connect=node02:2181,node03:2181,node04:2181/kafka
5.启动kafka (前提:先开启zookeeper) # kafka--  按两下tab # kafka-server-start.sh /opt/kafka_2.12-2.8.1/config/server.properties

6.防火墙开发端口9092
# firewall-cmd --permanent --add-port=80/tcp
# firewalld-cmd --reload


日志:
[2022-05-03 14:59:08,485] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)    代表node01成功
[2022-05-03 14:59:08,485] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)    代表node02成功
[2022-05-03 14:59:08,485] INFO [KafkaServer id=2] started (kafka.server.KafkaServer)    代表node03成功
复制代码

 

主机node04

# zkCli.sh
ls /
ls /kafka
ls /kafka/brokers
ls /kafka/brokers/topics

 

复制代码
主机node01

在两个broker上(node02、node03),创建一个topic名称是 "hhww", 2个物理分区,2个分区副本 
创建topic
# kafka-topics.sh \
    --zookeeper node02:2181,node03:2181/kafka \
    --create \
    --topic hhww \
    --partitions 2 \
    --replication-factor 2
    
删除topic
# kafka-topics.sh \
    --zookeeper node02:2181,node03:2181/kafka \
    --delete \
    --topic hhww 
    
查看topic
# kafka-topics.sh --zookeeper node02:2181,node03:2181/kafka --list

查看topic详细信息
# kafka-topics.sh --zookeeper node02:2181,node03:2181/kafka --describe --topic hhww
复制代码

 

复制代码
主机node02

kafka消费者
# kafka-console-consumer.sh \
     --bootstrap-server node01:9092,node02:9092,node03:9092 \
     --topic hhww \
     --group kgroup1

  kafka消费组
  # kafka-consumer-groups.sh --bootstrap-server node02:9092 --describe --group kgroup1




主机01

kafka生产者
# kafka-console-producer.sh  --broker-list node03:9092 --topic hhww
复制代码

 

posted @   Peter.Jones  阅读(178)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
点击右上角即可分享
微信分享提示