GO kafka sarama 生产者 消费者 简单 实现
前提:开启 zookeeper 、 kafka
生产者代码:
步骤:1. 生成配置文件(生产者基础配置文件、指定生产者回复消息等级 0 1 all、指定生产者消息发送成功或者失败后的返回通道是什么、
指定发送到哪一个分区(本文为 随机分区 正常有三种: 通过partiton、通过key 去 Hash出一个分区、轮询))
2. 构建消息(msg := &sarama.Message{} 这里为指针 1.消息可更改 2. 下面的 发送消息SendMessage() 需要指针类型的参数)
3. 连接kafka
4. 发送消息
package main import ( "fmt" "github.com/Shopify/sarama" "log" ) func main() { // 构建 生产者 // 生成 生产者配置文件 config := sarama.NewConfig() // 设置生产者 消息 回复等级 0 1 all config.Producer.RequiredAcks = sarama.WaitForAll // 设置生产者 成功 发送消息 将在什么 通道返回 config.Producer.Return.Successes = true // 设置生产者 发送的分区 config.Producer.Partitioner = sarama.NewRandomPartitioner // 构建 消息 msg := &sarama.ProducerMessage{} msg.Topic = "aaa" msg.Value = sarama.StringEncoder("123") // 连接 kafka producer, err := sarama.NewSyncProducer([]string{"localhost:9092"}, config) if err != nil { log.Print(err) return } defer producer.Close() // 发送消息 message, offset, err := producer.SendMessage(msg) if err != nil { log.Println(err) return } fmt.Println(message, " ", offset) }
消费者 代码:
步骤: 1. 生成消费者 对象 连接对应的 地址 config可以为nil
2. 拿到所有对应主题下的所有分区
3. 遍历每一个分区 调用 消费者对象 传入 对应的 主题 哪一个具体的分区 从什么位置开始读取文件 Return:消息对象
4. 通过 消息对象.Message() 可以取到对应的消息
package main import ( "fmt" "github.com/Shopify/sarama" "log" "sync" ) // 消费者练习 func main() { // 生成消费者 实例 consumer, err := sarama.NewConsumer([]string{"localhost:9092"}, nil) if err != nil { log.Print(err) return } // 拿到 对应主题下所有分区 partitionList, err := consumer.Partitions("aaa") if err != nil { log.Println(err) return } var wg sync.WaitGroup wg.Add(1) // 遍历所有分区 for partition := range partitionList{ //消费者 消费 对应主题的 具体 分区 指定 主题 分区 offset return 对应分区的对象 pc, err := consumer.ConsumePartition("aaa", int32(partition), sarama.OffsetNewest) if err != nil { log.Println(err) return } // 运行完毕记得关闭 defer pc.AsyncClose() // 去出对应的 消息 // 通过异步 拿到 消息 go func(sarama.PartitionConsumer) { defer wg.Done() for msg := range pc.Messages(){ fmt.Printf("Partition:%d Offset:%d Key:%v Value:%v", msg.Partition, msg.Offset, msg.Key, msg.Value) } }(pc) } wg.Wait() }
参考文档:https://www.liwenzhou.com/posts/Go/go_kafka/
邮箱: 1090055252@qq.com