kafka的安装配置及python使用

kafka依赖zookeeper， kafka和zookeeper都需要java环境（jdk）。

因此，我们需要先安装java环境（jdk），然后安装zookeeper，然后安装kafka。

一、jdk安装及配置

1.1、dk的下载和配置：

下载jdk，https://www.oracle.com/java/technologies/downloads/#jdk19-windows

 

1.2、配置环境变量：

设置 JAVA_HOME  和 Path

 

JAVA_HOME:  jdk的解压根目录 （不到bin）

 

Path： %JAVA_HOME%/bin （到bin）

 

2、zookeeper 的安装与配置：

 

2.1、下载 

官网下载链接：

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

 

2.2、解压：

 

2.3、修改配置文件

将“zoo_sample.cfg”重命名为“zoo.cfg”

修改 zoo.cfg中的dataDir（数据保存路径）

 

2.4、启动：

进入bin目录下，点击 zkServer.cmd 运行

 

3、kafka安装与配置

3.1、kafka下载

https://kafka.apache.org/downloads 

 

3.2、解压：

 

3.3、启动：

进入当前目录，打开CMD窗口，执行如下命令：

.\bin\windows\kafka-server-start.bat .\config\server.properties 

 

 4、kafka的python使用

 4.1、生产者

Producer.py

# 发送json格式：
from kafka import KafkaProducer
import json

# 创建生产者
print('start')
producer = KafkaProducer(bootstrap_servers='localhost:9092',value_serializer=lambda v: json.dumps(v).encode('utf-8'))
producer.send('test', {'today': '77'})
producer.flush()
print('end')

 

# 发送btype字符串：
from kafka import KafkaProducer
# 创建生产者
print('start')
producer = KafkaProducer(bootstrap_servers='localhost:9092')
for _ in range(3):
    # 指定topic发送bytes类型的数据
    producer.send('test',b'Hello kafka')
producer.flush()
print('end')

 

4.2、消费者

Consumer.py

# -*- coding:utf-8 -*-
from kafka import KafkaConsumer

consumer = KafkaConsumer('test', bootstrap_servers=['localhost:9092'])
i = 0
for msg in consumer:
    i += 1
    print('i:---', i)
    print(msg.value)

 使用时，先开启消费，然后启动生产者，这样才能在消费者中看到结果。