kafka集群部署
kafka集群 1.部署的服务器ip地址 172.16.0.220 172.16.0.66 172.16.0.25 2.kafka版本 https://www.apache.org/dyn/closer.cgi?path=/kafka/3.2.0/kafka_2.13-3.2.0.tgz 3.三台服务器安装目录 /data/ 4. kafka_2.13-3.2.0.tgz,解压,加入环境变量 tar -zxvf kafka_2.13-3.2.0.tgz # 配置环境变量 vim /etc/profile # kafka环境变量 export KAFKA_HOME=/data/kafka_2.13-3.2.0 export PATH=$KAFKA_HOME/bin:$PATH # 配置生效 ## 标题source /etc/profile 5. 配置文件 # 修改配置文件server.properties vim /data/kafka_2.13-3.2.0/config/server.properties 修改server.properties内容: # 三台服务器都要配置 # Master为 broker.id=66,Hadoop-Slaver01为 broker.id=25,Hadoop-Slaver02为 broker.id=220 # 三台服务器都要配置,各服务器写各自的主机名称 listeners=PLAINTEXT://172.16.0.66:9092 # 三台服务器都要配置,log.dirs 路径自己配,但是文件夹一定要存在,不会自己生成,如果路径不存在启动会报错。 在opt/modules/kafka_2.13-3.2.0下创建logs文件夹 log.dirs=/data/kafka_2.13-3.2.0/logs #三台服务器都要配置, topic 允许删除配置 #delete.topic.enable=true # 三台服务器都要配置,三台服务器都一样 #zookeeper.connect zookeeper集群的地址,可以是多个,多个之间用逗号分割 h zookeeper.connect=172.16.0.151:2181,172.16.0.173:2181,172.16.0.220:2181 zookeeper.connection.timeout.ms=1800 group.initial.rebalance.delay.ms=3 6.启动和验证 启动:kafka-server-start.sh -daemon /data/kafka_2.13-3.2.0/config/server.properties 停止:kafka-server-stop.sh -daemon /data/kafka_2.13-3.2.0/config/server.properties 启动成功后,jps 查看,有kafka进程则启动成功。(三台服务器都启动) 测试一下,在Hadoop-Master服务器上创建一个topic为test,然后生产几条信息—— # 创建topic kafka-topics.sh --create --bootstrap-serverHadoop-Master:9092 --replication-factor 1 --partitions 1 --topic test # 查看topic list kafka-topics.sh --bootstrap-server 172.16.0.66:9092 --list # 控制台生产消息 kafka-console-producer.sh --broker-list 172.16.0.66:9092 --topic test >hello >world # 控制台消费消息 在另一台机器上,开启消费者控制台,监听test的topic,发现可以收到数据—— kafka-console-consumer.sh --bootstrap-server 172.16.0.220:9092 --topic test --from-beginning hello word 创建topic kafka-topics.sh --bootstrap-server 172.16.0.220:9092 --create --topic test-topic-2 --replication-factor 2 --partitions 3 --config retention.ms=36000000000 --config max.message.bytes=64000 查看topic信息 kafka-topics.sh --bootstrap-server 172.16.0.220:9092 --describe --topic test-topic-2
posted on 2022-09-07 14:01 running-fly 阅读(57) 评论(0) 编辑 收藏 举报