kafka 0.11.0.3 单机版安装

 

安装kafka

$wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.3/kafka_2.11-0.11.0.3.tgz

$tar -zxvf kafka_2.11-0.11.0.3.tgz

配置server.properties

cd config

vi server.properties

zookeeper.connect=172.172.172.47:2181 (开发机zk)

num.partitions=10  #当consumer的数量大于分区的数量的时候，有的consumer线程会读取不到数据。

启动kafka

nohup ./bin/kafka-server-start.sh config/server.properties &

停止kafka

bin/kafka-server-stop.sh

 创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

展示topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

描述topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

生产者：

bin/kafka-console-producer.sh --broker-list 130.51.23.95:9092 --topic my-replicated-topic

消费者：

bin/kafka-console-consumer.sh --zookeeper 130.51.23.95:2181 --topic test --from-beginnin

 Kafka消息日志清除

   操作步骤主要包括：

     1、停止Kafka运行；

     2、删除Kafka消息日志；

     3、删除ZK的偏移量；

     4、重启Kafka;

--删除Kafka消息日志

查看server.properties

log.dirs=/tmp/kafka-logs

删除/tmp/kafka-logs 下指定队列目录

--zookeeper 删除ZK的偏移量

./zookeeper-shell.sh 172.172.172.47:2181

rmr /brokers/topics/test
rmr /admin/delete_topics/test

参考资料：

http://kafka.apache.org/downloads