基于NET Core简单操作Kafka
安装
windows服务器上安装JDK，kafka以及zookeeper。
安装JDK
JDK下载路径
安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> “高级系统设置” -> “环境变量” ）：
C:\Program Files\Java\jdk-14\bin（你的安装目录）
打开cmd运行 “java -version” 查看当前系统Java的版本，测试是否安装完成。
安装zookeeper
Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper
下载zookeeper
主要是下载Bin文件的版本，apache-zookeeper-3.6.0-bin.tar.gz
下载完成解压文件
打开zookeeper-3.4.13\conf，把zoo_sample.cfg重命名成zoo.cfg
从文本编辑器里打开zoo.cfg
把dataDir的值改成“./zookeeper-3.4.13/data”
添加环境变量：
C:\Program Files\apache-zookeeper-3.6.0\bin（你的解压到的目录）
进入目录C:\Program Files\apache-zookeeper-3.6.0\bin，文本编辑zkEnv.cmd，添加JAVA_HOME变量后保存退出。
set JAVA_HOME=C:\Program Files\Java\jdk-14（前面安装JDK的目录）
打开cmd然后执行 zkserver，挂着不要关闭。
安装kafka
下载kafka
解压文件，注意解压的目录不能含有中文和空格
进入kafka的目录config
从文本编辑器里打开 server.properties
把 log.dirs的值改成 “./logs”
打开cmd进入kafka文件目录: cd C:\kafka_2.11-2.4.1(kafka目录)
输入并执行: .\bin\windows\kafka-server-start.bat .\config\server.properties
挂着不要关闭。
运行kafka
创建topic
cmd进入kafka目录，执行以下代码创建一个topic：
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
创建生产者
cmd进入kafka目录，执行以下代码创建一个producer
kafka-console-producer.bat --broker-list localhost:9092 --topic test
创建消费者
cmd进入kafka目录，执行以下代码创建一个consumer
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
最后测试如图所示
NET简单操作kafka
新建两个项目，一个kafka服务端用于发送消息，一个kafka客户端用于订阅消息
打开NuGet，搜索安装kafka-net-core
服务端
using KafkaNet;
using KafkaNet.Model;
using KafkaNet.Protocol;
using System;
namespace KafkaServer
{
class Program
{
static void Main(string[] args)
{
const string topicName = "test";
var options = new KafkaOptions(new Uri("http://localhost:9092"));
//创建一个生产者发消息
using (var producer = new Producer(new BrokerRouter(options)){ BatchSize = 100, BatchDelayTime = TimeSpan.FromMilliseconds(2000) })
{
while (true)
{
var message = Console.ReadLine();
if (message == "quit") break;
if (!string.IsNullOrEmpty(message))
{
producer.SendMessageAsync(topicName, new[] { new Message(message) });
}
}
}
}
}
}
客户端
using KafkaNet;
using KafkaNet.Common;
using KafkaNet.Model;
using System;
using System.Threading.Tasks;
namespace KafkaClient
{
class Program
{
static void Main(string[] args)
{
const string topicName = "test";
var options = new KafkaOptions(new Uri("http://localhost:9092"));
Task.Run(() =>
{
//创建一个消费者
var consumer = new Consumer(new ConsumerOptions(topicName, new BrokerRouter(options)));
foreach (var data in consumer.Consume())
{
Console.WriteLine("Response: PartitionId={0},Offset={1} :Value={2}", data.Meta.PartitionId, data.Meta.Offset, data.Value.ToUtf8String());
}
});
Console.ReadLine();
}
}
}
运行测试结果：
