Kafka .net 开发入门

　　Kafka安装

　　首先我们需要在windows服务器上安装kafka以及zookeeper,有关zookeeper的介绍将会在后续进行讲解。

       在网上可以找到相应的安装方式，我采用的是腾讯云服务器，借鉴的是https://www.cnblogs.com/lnice/p/9668750.html

       根据上面博客安装完成后，我们在kafka中新建了一个名叫test的Topic,并新建了一个生产者和一个消费者。

　　注：控制台生产者和控制台消费者的数据不同是因为我用.net开发了一个生产者所致，后面会讲

　　

　　.net生产者　　

　　当前市面上比较好的.NET的kafka开源包有两个：kafka-net和rdkafka,我采用的是RdKafka；

　　新建项目后首先添加Nuget包，我的生产者源码如下所示

            string brokerList = "118.24.184.36:9092";
            string topicName = "test";


            using (Producer producer = new Producer("118.24.184.36:9092"))
            using (Topic topic = producer.Topic(topicName))
            {
                Console.WriteLine("{" + producer.Name + "} producing on {" + topic.Name + "}. q to exit.");

                string text;
                while ((text = Console.ReadLine()) != "q")
                {
                    byte[] data = Encoding.UTF8.GetBytes(text);
                    Task<DeliveryReport> deliveryReport = topic.Produce(data);
                    var unused = deliveryReport.ContinueWith(task =>
                    {
                        Console.WriteLine("Partition: {" + task.Result.Partition + "}, Offset: {" + task.Result.Offset + "}");
                    });
                 }
            }
            

　　如你所见，当我们在软件的输入框输入hellow world并回车后，控制台的消费者就收到了。

　　

　　如上图，控制台消费者收到了.net生产者发布的消息。

　　

　　.net 消费者

　　我采用的还是RfKafka这个插件，采用的代码如下

 

static void Main(string[] args)
        {
            string brokerList = "118.24.184.36:9092";
            List<string> topic = new List<string>();
            topic.Add("test");
            Run(brokerList, topic);
        }
        public static void Run(string brokerList, List<string> topics)
        {
            bool enableAutoCommit = false;

            var config = new Config()
            {
                GroupId = "advanced-csharp-consumer",
                EnableAutoCommit = enableAutoCommit,
                StatisticsInterval = TimeSpan.FromSeconds(60)
            };

            using (var consumer = new EventConsumer(config, brokerList))
            {
                consumer.OnMessage += (obj, msg) =>
                {
                    string text = Encoding.UTF8.GetString(msg.Payload, 0, msg.Payload.Length);
                    Console.WriteLine($"Topic: {msg.Topic} Partition: {msg.Partition} Offset: {msg.Offset} {text}");
                    Console.WriteLine("1 Response: Partition {0},Offset {1} : {2}",
                    msg.Partition, msg.Offset, text);
                    if (!enableAutoCommit && msg.Offset % 10 == 0)
                    {
                        Console.WriteLine("Committing offset");
                        consumer.Commit(msg).Wait();
                        Console.WriteLine("Committed offset");
                    }
                };

                consumer.OnConsumerError += (obj, errorCode) =>
                {
                    Console.WriteLine($"Consumer Error: {errorCode}");
                };

                consumer.OnEndReached += (obj, end) =>
                {
                    Console.WriteLine($"Reached end of topic {end.Topic} partition {end.Partition}, next message will be at offset {end.Offset}");
                };

                consumer.OnError += (obj, error) =>
                {
                    Console.WriteLine($"Error: {error.ErrorCode} {error.Reason}");
                };

                if (enableAutoCommit)
                {
                    consumer.OnOffsetCommit += (obj, commit) =>
                    {
                        if (commit.Error != ErrorCode.NO_ERROR)
                        {
                            Console.WriteLine($"Failed to commit offsets: {commit.Error}");
                        }
                        Console.WriteLine($"Successfully committed offsets: [{string.Join(", ", commit.Offsets)}]");
                    };
                }

                consumer.OnPartitionsAssigned += (obj, partitions) =>
                {
                    Console.WriteLine($"Assigned partitions: [{string.Join(", ", partitions)}], member id: {consumer.MemberId}");
                    consumer.Assign(partitions);
                };

                consumer.OnPartitionsRevoked += (obj, partitions) =>
                {
                    Console.WriteLine($"Revoked partitions: [{string.Join(", ", partitions)}]");
                    consumer.Unassign();
                };

                consumer.OnStatistics += (obj, json) =>
                {
                    Console.WriteLine($"Statistics: {json}");
                };

                consumer.Subscribe(topics);
                consumer.Start();

                Console.WriteLine($"Assigned to: [{string.Join(", ", consumer.Assignment)}]");
                Console.WriteLine($"Subscribed to: [{string.Join(", ", consumer.Subscription)}]");

                Console.WriteLine($"Started consumer, press enter to stop consuming");
                Console.ReadLine();
            }
        }

　　运行后得到如下效果，以下四个框分别是.net生产者，控制台生产者，.net消费者，控制台消费者。

　　

　　至此.net关于kafka的使用就讲完了。

 

       这里有一篇文章分享给大家，把很多kafka的一些深入理解进行了很通俗的讲解：

http://melanx.com/2019/01/07/深入浅出理解基于-kafka-和-zookeeper-的分布式消息队列/#12kafkatopic

 

　　如果你在使用上诉代码时遇到了如下问题：

解决方案如下：将工程切到.net4.0,再将工程切到.net4.5或你需要的版本

　　不要问我为什么，我是这样解决的，否则就需要根据缺失的库进行相关插件安装。