kafka

Apache Kafka 是一个开源分布式事件流平台，由Scala和Java编写。

elk建议使用Kafka 版本 0.8.2.0 及更高版本

[下载地址](Apache Kafka)

主配置文件

cat server.properties

broker.id=0 集群中每个节点必须唯一
listeners = PLAINTEXT://127.0.0.1:9092 监听地址

log.dirs=/tmp/kafka-logs 是kafka的数据文件

zookeeper.connect=zoo1:2181,zoo2:2181,zoo3:2181 连接zookeeper

启动服务

kafka-server-start.sh -daemon server.properties

1.测试创建主题

./bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

查看有哪些topics

./bin/kafka-topics.sh --list --zookeeper 192.168.1.100:2181

2.查看主题详情

./bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

3.向主题中产生一个事件

./bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event

4.查询主题事件

./bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event

kafka可视化工具免费Offset Explorer (kafkatool.com)