Kafka单节点单broker部署及使用

1.Kafka单节点单broker部署及使用

（1）配置Kafka的config目录下的server.properties文件

　　进入$KAFKA_ HOME/ config/ server properties
　　vim server properties

主要更改内容：

　　broker. id=0
　　listeners=PLAINTEXT://192.168.51.100:9092
　　host. name=node01(自己的主机名)
　　log. dirs=/kbb/install/kafka/datas
　　zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka

2.启动Kafka

至少启动两个zookeeper，因为server.properties文件中的zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka写了3个主机，至少有两个服务器上的zookeeper启动才算是集群

 

cd /kbb/install/kafka
bin/kafka-server-start.sh config/server.properties

 

3.创建topic：zookeeper

注意:

　　1)其中命令中的testtopic为创建topic的名字

　　2)若kafka版本大于等于2.2使用--bootstrap-server替代--zookeeper 版本2.2以上也兼容--zookeeper

kafka-topics.sh --create --zookeeper node01:2181/kafka --replication-factor 1 --partitions 1 --topic testtopic

4.查看所有topic名称

注意：因为server.properties文件中的zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka，所以查看时要在后面加/kafka)
kafka-topics.sh --list --zookeeper node01:2181/kafka

 

5.发送消息:broker

（在服务器上打开一个生产者，然后把输入的每行数据发送到kafka中的命令）
cd /kbb/install/kafka
bin/kafka-console-producer.sh --broker-list node01:9092 --topic test_topic

 

6.打开一个消费者来消费消息：zookeeper

注意：因为server.properties文件中的zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka，所以查看时要在后面加/kafka)
cd /kbb/install/kafka
bin/kafka-console-consumer.sh --zookeeper node01:2181/kafka --topic test_topic --from-beginning

注：--from-beginning的作用
如果带该参数表示从头开始消费，

不从头开始消费
bin/kafka-console-consumer.sh --zookeeper node01:2181/kafka --topic test_topic

7.查看所有topic具体信息

kafka-topics.sh --describe -zookeeper node01:2181/kafka

8.查看指定topic具体信息(test_topic是要查看topic的名次)kafka-topics.sh --describe -zookeeper node01:2181/kafka --topic test_topic