CentOS8安装Kafka集群
规划
主机规划: zookeeper服务 : node01、node02、node03、node04 kafka服务 : node01、node02、node03 kafka官网下载:https://kafka.apache.org/downloads 阿里镜像站下载:http://mirrors.aliyun.com/apache/kafka/2.8.1/kafka_2.12-2.8.1.tgz
下载、安装、启动
node01主机: 1.kafka下载和解压 # wget http://mirrors.aliyun.com/apache/kafka/2.8.1/kafka_2.12-2.8.1.tgz # tar -xvf kafka_2.12-2.8.1.tgz -C /opt # cd /opt/kafka_2.12-2.8.1
根据官方文档操作:https://kafka.apache.org/quickstart
2.kafka配置文件 # vi /opt/kafka_2.12-2.8.1/config/server.properties broker.id=0 listeners=PLAINTEXT://node01:9092 log.dirs=/var/kafka-logs zookeeper.connect=node02:2181,node03:2181,node04:2181/kafka
3.kafka环境变量 # vi /etc/profile
export KAFKA_HOME=/opt/kafka_2.12-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin
# source /etc/profile
4.节点同步 个性化 # scp /etc/profile node02:/etc/ # scp /etc/profile node03:/etc/ ====== # scp -r /opt/kafka_2.12-2.8.1 node02:/opt 递归复制 # scp -r /opt/kafka_2.12-2.8.1 node03:/opt
node02主机
# vi /opt/kafka_2.12-2.8.1/config/server.properties broker.id=1 listeners=PLAINTEXT://node02:9092 log.dirs=/var/kafka-logs zookeeper.connect=node02:2181,node03:2181,node04:2181/kafka
node03主机
# vi /opt/kafka_2.12-2.8.1/config/server.properties broker.id=2 listeners=PLAINTEXT://node03:9092 log.dirs=/var/kafka-logs zookeeper.connect=node02:2181,node03:2181,node04:2181/kafka
5.启动kafka (前提:先开启zookeeper) # kafka-- 按两下tab # kafka-server-start.sh /opt/kafka_2.12-2.8.1/config/server.properties
6.防火墙开发端口9092
# firewall-cmd --permanent --add-port=80/tcp
# firewalld-cmd --reload
日志: [2022-05-03 14:59:08,485] INFO [KafkaServer id=0] started (kafka.server.KafkaServer) 代表node01成功 [2022-05-03 14:59:08,485] INFO [KafkaServer id=1] started (kafka.server.KafkaServer) 代表node02成功 [2022-05-03 14:59:08,485] INFO [KafkaServer id=2] started (kafka.server.KafkaServer) 代表node03成功
主机node04 # zkCli.sh ls / ls /kafka ls /kafka/brokers ls /kafka/brokers/topics
主机node01 在两个broker上(node02、node03),创建一个topic名称是 "hhww", 2个物理分区,2个分区副本 创建topic # kafka-topics.sh \ --zookeeper node02:2181,node03:2181/kafka \ --create \ --topic hhww \ --partitions 2 \ --replication-factor 2 删除topic # kafka-topics.sh \ --zookeeper node02:2181,node03:2181/kafka \ --delete \ --topic hhww 查看topic # kafka-topics.sh --zookeeper node02:2181,node03:2181/kafka --list 查看topic详细信息 # kafka-topics.sh --zookeeper node02:2181,node03:2181/kafka --describe --topic hhww
主机node02 kafka消费者 # kafka-console-consumer.sh \ --bootstrap-server node01:9092,node02:9092,node03:9092 \ --topic hhww \ --group kgroup1
kafka消费组
# kafka-consumer-groups.sh --bootstrap-server node02:9092 --describe --group kgroup1
主机01
kafka生产者
# kafka-console-producer.sh --broker-list node03:9092 --topic hhww
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析