kafka常见命令

基础命令

查看已有topic

进入kafka解压目录：/home/zallds/kafka_2.10-0.10.2.1

执行如下命令，就会列出所有topic

[zallds@PUBLIC-26 bin]$ bin/kafka-topics.sh -list -zookeeper localhost:2181
hawkeyes-vest

 

启动kafka服务

1.kafka用到了zookeeper,所以先启动zookeeper

    >bin/zookeeper-server-start.sh config/zookeeper.properties &

2.启动kafka

    >bin/kafka-server-start.sh config/server.properties

 

创建topic

创建一个叫做“test”的topic，它只有一个分区，一个副本。

 

1

 

 

 

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication

    -factor 1 --partitions 2 --topic hawkeyes-vest

 

 

可以通过list命令查看创建的topic:

 

1

2

 

 

 

> bin/kafka-topics.sh --list --zookeeper localhost:2181

test 

 

 

除了手动创建topic，还可以配置broker让它自动创建topic.

 

删除分区

>bin/kafka-topics.sh  --delete --zookeeper  localhost:2181  --topic hawkeyes-vest

 

发送消息

Kafka 使用一个简单的命令行producer，从文件中或者从标准输入中读取消息并发送到服务端。默认的每条命令将发送一条消息。

运行producer并在控制台中输一些消息，这些消息将被发送到服务端：

>bin/kafka-console-producer.sh --broker-list localhost:9092 --topic hawkeyes-vest

ctrl+c可以退出发送；

 

 

启动Consumer

 

Kafka also has a command line consumer that will dump out messages to standard output.

Kafka也有一个命令行consumer可以读取消息并输出到标准输出：

 

1

2

3

4

 

 

 

>bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic hawkeyes

    -vest --from-beginning

This is a message

This is another message

 

 

 

 

1

2

 

 

 

你在一个终端中运行consumer命令行，另一个终端中运行producer命令行，就可以在

    一个终端输入消息，另一个终端读取消息。

 

 

 

这两个命令都有自己的可选参数，可以在运行的时候不加任何参数可以看到帮助信息。

 

 

消费消息

 

>bin/kafka-console-consumer.sh -- zookeeper localhost:2181 --from-beginning --topic hawkeyes-vest

 

 

查看topic:hawkeyes-vest的分区情况

bin/kafka-topics.sh --zookeeper localhost:2181 --topic hawkeyes-vest