CentOS7搭建Kafka单机环境及基础操作

前提

安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档。

Kafka安装

下载
wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz 
解压
tar -zxvf kafka_2.8.0-0.8.0.tar.gz
移动文件夹
mv kafka_2.8.0-0.8.0 /usr/local/hadoop/
修改配置
cd /usr/local/hadoop/kafka_2.8.0-0.8.0/config
vim server.properties

参照下图信息修改

配置IP

配置日志地址


配置zookeeper 地址


Kafaka操作

启动kafka server
bin/kafka-server-start.sh config/server.properties
创建主题
./kafka-create-topic.sh --partition 1 --replica 1 --zookeeper 192.168.174.200:2181,192.168.174.201:2181 --topic test


检查主题是否创建成功
./kafka-list-topic.sh --zookeeper 192.168.174.200:2181,192.168.174.201:2181


启动producer
./kafka-console-producer.sh --broker-list 192.168.174.200:9092 --topic test
输入hello后,回车 ,然后另外打开一个shell终端 
启动consumer 
./kafka-console-consumer.sh --zookeeper 192.168.174.200:2181,192.168.174.201:2181 --topic test

关闭kafka
./kafkastop.sh
新版本命令
---new version--

./kafka-topics.sh --create --zookeeper 192.168.174.200:2181,192.168.174.201:2181 --replication-factor 1 --partitions 1 --topic test


./kafka-topics.sh --list --zookeeper 192.168.174.200:2181,192.168.174.201:2181


./kafka-console-producer.sh --broker-list 192.168.174.200:9092 --topic test


./kafka-console-consumer.sh --zookeeper 192.168.174.200:2181,192.168.174.201:2181 --topic test --from-beginning
附:有可能遇到的问题和解决方案 
问题1: Failed to acquire lock on file . 
这里写图片描述

解决方案: 
这是因为之前已经有kafka进程在运行,可以如下: 
通过jps命令查看进程号,并kill掉,然后重新启动kafka即问题解决

这里写图片描述

问题2:BindException: Address already in use 
这里写图片描述

解决方案: 
这个有时可以忽略,只要最后成功启动了kafka就可以,也可以将server.properties下的2181的端口号换一下,这个报错是因为2181端口被占用了。



posted on 2018-04-25 17:25  疯狂的小萝卜头  阅读(495)  评论(0编辑  收藏  举报