kafka安装教程

环境依赖

1. jdk：1.7+
2. zookeeper

安装

安装jdk和zookeeper这里不做安装，如果你未安装这两个依赖，请自行查找安装办法。

这里安装的版本是kafka_2.11-1.1.0

wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -zxvf kafka_2.11-1.1.0.tgz
mv kafka_2.11-1.1.0 kafka-1.1.0

修改配置

我们这里需要修改server.properties，这个文件在kafka-1.1.0/config/下，这里我们主要修改4个参数

其中broker.id分别是0,1,2依次累加，listeners是配置监听的地址和端口号，不配置id的话，默认是从jvm获取的地址，log.dirs是配置日志存放的目录，然后就是配置zookeeper地址，这里没给出配置保存时间、文件大小等，如需要配置其他属性，请参考配置官网的配置属性

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/home/hadoop/log/kafka
zookeeper.connect=192.168.163.111:2181,192.168.163.112:2181,192.168.163.113:2181

启动kafka

每台服务器都需要启动kafka服务

cd kafka-1.1.0
bin/kafka-server-start.sh config/server.properties &

如果想不提示任何启动信息等，可以用如下命令启动

nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

测试

1. 创建topic
   replication-factor是表示配置备份数量，这里配置2个备份，partitions是配置分区的，这里配置了6个分区，topic后面跟的是主题名字

    bin/kafka-topics.sh --create --zookeeper 192.168.163.111:2181 --replication-factor 2 --partitions 6 --topic flow_log-topic
   

2. 推送信息

    bin/kafka-console-producer.sh --broker-list 192.168.163.111:9092 --topic flow_log-topic
   

3. 消费信息

    bin/kafka-console-consumer.sh --bootstrap-server 192.168.163.111:9092 --from-beginning --topic flow_log-topic
   

4. 查看所有主题和分区

    bin/kafka-topics.sh --describe --zookeeper 192.168.163.111:2181
   

我们只需要在推送消息那一台服务器发送消息，然后我们可以到消费者那台服务器去看看收否有收到消息，如果收到了消息，则表示kafka安装成功