Zookeeper+Kafka的单节点配置

环境描述:Ubuntu16.04 server系统,在系统上搭建Java环境,jdk的版本为1.8或更高,我的服务器IP地址为192.168.0.106。

 

1. 使用命令在根目录下的opt目录下创建data目录。

mkdir /opt/data

 

2. 在Apache官网http://www.apache.org/dyn/closer.cgi/zookeeper/https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz

上下载zookeeper和kafka的压缩包,我下载的是zookeeper-3.4.10.tar.gzkafka_2.11-0.10.1.0.gz

 

3. 使用命令对zookeeper和kafka压缩文件进行解压,对解压后的文件进行改名和移动位置,移动到/opt/data目录下。

tar -zxvf zookeeper-3.4.10.tar.gz
tar -zxvf kafka_2.11-0.10.1.0.gz

 

4. 使用命令增加zookeeper节点的IP如下附图所示。

vim /etc/hosts

 

5. 使用命令

cd /opt/data/zookeeper/conf

进入zookeeper目录下的conf目录,使用命令

cp zoo_sample.cfg zoo.cfg

复制文件zoo.cfg,使用命令

vim zoo.cfg

修改该文件。同时,在/opt/data/zookeeper下创建data目录和logs目录,在/opt/data/zookeeper/data下创建文件myid,使用命令

echo 1 > myid

在文件myid中写入1。

 

 

============================================================================================================================================

在此zookeeper的配置已经完成。

============================================================================================================================================

 

6. 使用命令

vim /opt/data/kafka/config/server.properties

修改kafka的配置文件,同时使用命令

mkdir /opt/data/kafka/kafka-logs

创建目录,修改内容如下附图所示。

 

============================================================================================================================================

在此kafka的配置已经完成。

============================================================================================================================================

 

测试zookeeper和kafka的配置是否成功:

1. 启动zookeeper:在/opt/data/zookeeper目录下使用命令

bin/zkServer.sh start

启动zookeeper。使用命令

bin/zkServer.sh status

查看zookeeper的状态,如果现实如下图所示的状态表示zookeeper配置成功。

 

 

2.启动kafka:在/opt/data/kafka目录下使用命令

bin/kafka-server-start.sh config/server.properties

启动kafka,显示以下信息为成功启动kafka。

 

3. 创建会话topic:打开新的终端(我们暂记为终端1),在/opt/data/kafka目录下使用命令

bin/kafka-topics.sh --create --zookeeper 192.168.0.106:2181 --replication-factor 1 --partitions 1 --topic test1

创建会话test1,使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

查看会话列表,显示以下信息为成功创建会话。

 

4.启动生产者Producer发消息:在/opt/data/kafka目录下使用命令

bin/kafka-console-producer.sh --broker-list 192.168.0.106:9092 --topic test1

启动消息生产者。

 

5.启动消费者Consumer接收消息:再打开一个新的终端(我们暂记为终端2),在/opt/data/kafka目录下使用命令

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.106:9092 --from-beginning --topic test1

来接收消息。

 

6.在生产者Producer所在的终端1里随便输入一些内容,消费者Consumer所在的终端2将会实时的捕获终端1里发出的消息。如下表示成功建立会话,kafka和zookeeper的单节点配置圆满成功。

 

7.删除会话topic:在/opt/data/kafka目录下使用命令

bin/kafka-topics.sh --delete --zookeeper 192.168.0.106:2181 --topic test1

再使用命令

bin/kafka-topics.sh --list --zookeeper 192.168.0.106:2181

查看会话是否存在,如下图所示,表示会话test1删除成功。