kafka集群部署

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86

kafka集群   1.部署的服务器ip地址     172.16.0.220     172.16.0.66     172.16.0.25 2.kafka版本         https://www.apache.org/dyn/closer.cgi?path=/kafka/3.2.0/kafka_2.13-3.2.0.tgz 3.三台服务器安装目录 /data/   4. kafka_2.13-3.2.0.tgz，解压，加入环境变量     tar -zxvf  kafka_2.13-3.2.0.tgz     # 配置环境变量     vim /etc/profile     # kafka环境变量     export KAFKA_HOME=/data/kafka_2.13-3.2.0     export PATH=$KAFKA_HOME/bin:$PATH     # 配置生效     ## 标题source /etc/profile       5. 配置文件 # 修改配置文件server.properties vim /data/kafka_2.13-3.2.0/config/server.properties 修改server.properties内容：       # 三台服务器都要配置     # Master为 broker.id=66，Hadoop-Slaver01为 broker.id=25，Hadoop-Slaver02为 broker.id=220          # 三台服务器都要配置，各服务器写各自的主机名称     listeners=PLAINTEXT://172.16.0.66:9092          # 三台服务器都要配置，log.dirs 路径自己配，但是文件夹一定要存在，不会自己生成，如果路径不存在启动会报错。     在opt/modules/kafka_2.13-3.2.0下创建logs文件夹     log.dirs=/data/kafka_2.13-3.2.0/logs        #三台服务器都要配置， topic 允许删除配置     #delete.topic.enable=true        # 三台服务器都要配置，三台服务器都一样     #zookeeper.connect zookeeper集群的地址，可以是多个，多个之间用逗号分割 h     zookeeper.connect=172.16.0.151:2181,172.16.0.173:2181,172.16.0.220:2181     zookeeper.connection.timeout.ms=1800     group.initial.rebalance.delay.ms=3             6.启动和验证       启动：kafka-server-start.sh -daemon /data/kafka_2.13-3.2.0/config/server.properties     停止：kafka-server-stop.sh -daemon /data/kafka_2.13-3.2.0/config/server.properties     启动成功后，jps 查看，有kafka进程则启动成功。（三台服务器都启动）       测试一下，在Hadoop-Master服务器上创建一个topic为test，然后生产几条信息——     # 创建topic     kafka-topics.sh --create --bootstrap-serverHadoop-Master:9092 --replication-factor 1 --partitions 1 --topic test       # 查看topic list     kafka-topics.sh --bootstrap-server 172.16.0.66:9092 --list       # 控制台生产消息       kafka-console-producer.sh --broker-list 172.16.0.66:9092 --topic test     >hello     >world       # 控制台消费消息     在另一台机器上，开启消费者控制台，监听test的topic，发现可以收到数据——     kafka-console-consumer.sh --bootstrap-server 172.16.0.220:9092  --topic test --from-beginning     hello     word               创建topic       kafka-topics.sh  --bootstrap-server 172.16.0.220:9092  --create --topic test-topic-2 --replication-factor 2 --partitions 3 --config retention.ms=36000000000 --config max.message.bytes=64000       查看topic信息     kafka-topics.sh --bootstrap-server 172.16.0.220:9092  --describe --topic test-topic-2