Kafka使用指南

Kafka使用指南

概念对照表

Kafka概念	释义
消息	数据库表中的一行数据
批次	一组消息
主题/话题	数据库表 / 文件夹
分区	主题内的分块
消费者群组	专门消费同一个主题的消费者集合
偏移量	用来区分已经读过的消息
所有权关系	消费者与分区之间的映射关系
broker	一个独立的kafka服务器
保留消息	在一定期限内存储的消息

操作命令

启动Zookeeper

sh bin/zookeeper-server-start.sh config/zookeeper.properties

启动Kafka

sh bin/kafka-server-start.sh config/server.properties

查看全部话题

sh bin/kafka-topics.sh --list --bootstrap-server localhost:9092

查看group详情

sh bin/kafka-consumer-groups.sh --describe --all-groups --bootstrap-server localhost:9092

增加话题

sh bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

查看话题详情

sh bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

删除话题

sh bin/kafka-topics.sh --delete --topic quickstart-events --bootstrap-server localhost:9092

向话题写入数据

sh bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

从话题读取数据

sh bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

从话题读取数据，并指定一个group_id

sh bin/kafka-console-consumer.sh \
    --topic quickstart-events \
    --from-beginning \
    --group default \
    --bootstrap-server localhost:9092 

删除kafka内的消息数据

rm -rf /tmp/kafka-logs /tmp/zookeeper