kafka集群部署

kafka集群

1.部署的服务器ip地址
	172.16.0.220
	172.16.0.66
	172.16.0.25
2.kafka版本
		https://www.apache.org/dyn/closer.cgi?path=/kafka/3.2.0/kafka_2.13-3.2.0.tgz
3.三台服务器安装目录 /data/ 

4. kafka_2.13-3.2.0.tgz，解压，加入环境变量
	tar -zxvf  kafka_2.13-3.2.0.tgz 
	# 配置环境变量
	vim /etc/profile
	# kafka环境变量
	export KAFKA_HOME=/data/kafka_2.13-3.2.0
	export PATH=$KAFKA_HOME/bin:$PATH
	# 配置生效
	## 标题source /etc/profile
	
5. 配置文件
# 修改配置文件server.properties
vim /data/kafka_2.13-3.2.0/config/server.properties 
修改server.properties内容：

	# 三台服务器都要配置 
	# Master为 broker.id=66，Hadoop-Slaver01为 broker.id=25，Hadoop-Slaver02为 broker.id=220

 
	# 三台服务器都要配置，各服务器写各自的主机名称
	listeners=PLAINTEXT://172.16.0.66:9092

 
	# 三台服务器都要配置，log.dirs 路径自己配，但是文件夹一定要存在，不会自己生成，如果路径不存在启动会报错。
	在opt/modules/kafka_2.13-3.2.0下创建logs文件夹
	log.dirs=/data/kafka_2.13-3.2.0/logs
 
	#三台服务器都要配置， topic 允许删除配置
	#delete.topic.enable=true
 
	# 三台服务器都要配置，三台服务器都一样 
	#zookeeper.connect zookeeper集群的地址，可以是多个，多个之间用逗号分割 h
	zookeeper.connect=172.16.0.151:2181,172.16.0.173:2181,172.16.0.220:2181
	zookeeper.connection.timeout.ms=1800
	group.initial.rebalance.delay.ms=3
	
	
6.启动和验证

	启动：kafka-server-start.sh -daemon /data/kafka_2.13-3.2.0/config/server.properties
	停止：kafka-server-stop.sh -daemon /data/kafka_2.13-3.2.0/config/server.properties
	启动成功后，jps 查看，有kafka进程则启动成功。（三台服务器都启动）

	测试一下，在Hadoop-Master服务器上创建一个topic为test，然后生产几条信息——
	# 创建topic
	kafka-topics.sh --create --bootstrap-serverHadoop-Master:9092 --replication-factor 1 --partitions 1 --topic test

	# 查看topic list
	kafka-topics.sh --bootstrap-server 172.16.0.66:9092 --list

	# 控制台生产消息

	kafka-console-producer.sh --broker-list 172.16.0.66:9092 --topic test
	>hello
	>world

	# 控制台消费消息
	在另一台机器上，开启消费者控制台，监听test的topic，发现可以收到数据——
	kafka-console-consumer.sh --bootstrap-server 172.16.0.220:9092  --topic test --from-beginning
	hello
	word





	创建topic

	kafka-topics.sh  --bootstrap-server 172.16.0.220:9092  --create --topic test-topic-2 --replication-factor 2 --partitions 3 --config retention.ms=36000000000 --config max.message.bytes=64000

	查看topic信息
	kafka-topics.sh --bootstrap-server 172.16.0.220:9092  --describe --topic test-topic-2