Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

本文是《Strimzi Kafka Bridge(桥接)实战》的第三篇，前文咱们掌握了Strimzi Kafka Bridge的基本功能：基于http提供各种kafka消息的服务
此刻，如果想通过http接口调用bridge的服务，势必要写不少代码（请求数据的生成、响应数据的解析），好在Strimzi已经提供了标准OpenApi的配置文件，咱们可以根据这个配置文件生成与http接口相关的代码，省去不少工作

为什么是golang版本

熟悉欣宸的读者都知道欣宸是个正宗的java程序员，那么，本篇应该实战java版本的SDK吧，怎么就研究起了golang版本呢？
因为Strimzi Kafka Bridge提供的OpenApi配置，用来生成客户端sdk之后，是无法正常使用的！！！，没错，您没看错，用工具生成的sdk，不论是golang版还是java版，都用不了！
相比之下，golang版的sdk，虽然不能用，但是经过抢救还是可以正常工作的，这也是本篇的主要内容
而java版的就没那么幸运了，涉及到jar库的依赖，就算是改代码也救不活，于是只能放弃，具体的原因本文末尾会给出，当然了，也许是欣宸水平太差，换成其他高手说不定就给救活了
闲话少说，接下来的内容由以下这几个步骤组成

介绍一下我这边的环境信息
下载OpenApi的配置文件
下载swagger工具
用swagger工具生成客户端sdk代码
创建一个golang的demo程序，使用刚刚生成的客户端sdk代码
客户端sdk代码存在诸多问题，但是可以逐个修复，这里咱们就来修复它们
运行一个demo程序，调用sdk代码中的API，验证基本功能

环境信息

以下是我这边的环境信息，您可以作为参考

JDK：11.0.14.1
Maven：3.8.5
strimzi-kafka-bridge：0.22.3
swagger-codegen-cli：2.4.9

需要注意的是，swagger工具是jar格式的，因此需要当前环境准备好JDK

下载OpenApi的配置文件

Strimzi Kafka Bridge的master分支处于活跃状态，因此不适合拿来实战，咱们选择一个发布版本吧
下载strimzi-kafka-bridge源码，地址是：https://codeload.github.com/strimzi/strimzi-kafka-bridge/zip/refs/tags/0.22.3 ，下载后解压得到名为strimzi-kafka-bridge-0.22.3的文件夹
这个文件就是OpenApi的配置文件，可以用来生成客户端sdk源码：strimzi-kafka-bridge-0.22.3/src/main/resources/openapiv2.json ，稍后会用到

下载swagger工具

swagger工具的下载地址是：https://repo1.maven.org/maven2/io/swagger/swagger-codegen-cli/2.4.9/swagger-codegen-cli-2.4.9.jar
现在新建一个目录，我这里新建了一个名为001的目录，将openapiv2.json和swagger-codegen-cli-2.4.9.jar这两个刚下载的文件放在这个目录下
在001的目录下新增一个名为swagger的目录

用swagger工具生成客户端sdk代码

使用默认参数来生成客户端sdk代码的操作十分简单

java -jar swagger-codegen-cli-2.4.9.jar generate \
-i ./openapiv2.json \
-l go \
-o swagger

执行完命令后，控制台输出如下
查看swagger目录，发现已经生成了大量文件

➜  001 tree swagger
swagger
├── README.md
├── api
│   └── swagger.yaml
├── api_consumers.go
├── api_default.go
├── api_producer.go
├── api_seek.go
├── api_topics.go
├── client.go
├── configuration.go
├── docs
│   ├── AssignedTopicPartitions.md
│   ├── BridgeInfo.md
│   ├── Consumer.md
│   ├── ConsumerRecord.md
│   ├── ConsumerRecordList.md
│   ├── ConsumersApi.md
│   ├── CreatedConsumer.md
│   ├── DefaultApi.md
│   ├── KafkaHeader.md
│   ├── KafkaHeaderList.md
│   ├── ModelError.md
│   ├── OffsetCommitSeek.md
│   ├── OffsetCommitSeekList.md
│   ├── OffsetRecordSent.md
│   ├── OffsetRecordSentList.md
│   ├── OffsetsSummary.md
│   ├── Partition.md
│   ├── PartitionMetadata.md
│   ├── Partitions.md
│   ├── ProducerApi.md
│   ├── ProducerRecord.md
│   ├── ProducerRecordList.md
│   ├── ProducerRecordToPartition.md
│   ├── ProducerRecordToPartitionList.md
│   ├── Replica.md
│   ├── SeekApi.md
│   ├── SubscribedTopicList.md
│   ├── TopicMetadata.md
│   ├── Topics.md
│   └── TopicsApi.md
├── git_push.sh
├── model_assigned_topic_partitions.go
├── model_bridge_info.go
├── model_consumer.go
├── model_consumer_record.go
├── model_consumer_record_list.go
├── model_created_consumer.go
├── model_error.go
├── model_kafka_header.go
├── model_kafka_header_list.go
├── model_offset_commit_seek.go
├── model_offset_commit_seek_list.go
├── model_offset_record_sent.go
├── model_offset_record_sent_list.go
├── model_offsets_summary.go
├── model_partition.go
├── model_partition_metadata.go
├── model_partitions.go
├── model_producer_record.go
├── model_producer_record_list.go
├── model_producer_record_to_partition.go
├── model_producer_record_to_partition_list.go
├── model_replica.go
├── model_subscribed_topic_list.go
├── model_topic_metadata.go
├── model_topics.go
└── response.go

2 directories, 66 files

创建一个golang的demo程序，使用刚刚生成的客户端sdk代码

新建名为sdkdemo的文件夹
在sdkdemo的文件夹下面执行以下命令，新建一个go工程

go mod init sdkdemo

需要引入两个包，执行以下命令

go get golang.org/x/oauth2
go get github.com/antihax/optional

将前面生成代码的swagger文件夹复制到sdkdemo的文件夹下面
现在sdkdemo的文件夹下面有这些东西
为了方便开发，接下来用IDE工具进行开发，我这里用的是goland，打开项目后新增名为main.go的文件
接下来咱们要面对的是一堆破绽百出的sdk代码，不过还好，可以拯救，咱们一起啦拯救吧

修复有问题的sdk源码，第一个问题

一共有6个问题，咱们逐一修复
第一个问题如下图，SeekToEndOpts这个数据结构在api_seek.go和api_consumer.go中都有，显然是重复定义了，将左侧api_seek.go中的SeekToEndOpts定义删除掉

第二个问题

第二个问题如下图，SendOpts这个数据结构在api_topics.go和api_producer.go中都有，显然是重复定义了，将左侧api_topics.go中的SeekToEndOpts定义删除掉

第三个问题

第三个问题最让人痛苦（因为java版也被此问题折磨，且不好处理），bridge的请求和响应的contentType，与咱们平时常用的application/json不同，在bridge这里用的是这两种：application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json，其实这个也好理解：生产和发送的消息内容不一定只有json格式，可能还会嵌入其他格式的消息，这就要有kafka自己的协议来支持了，于是contentType就变得比较特殊
话虽这么说，但是swagger不认识application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json这两种格式，于是生成的代码自然也就不支持了
来看看具体问题吧，打开文件client.go，当前decode方法源码如下，可见是不会处理application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json这两种的

func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
	if strings.Contains(contentType, "application/xml") {
		if err = xml.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	} else if strings.Contains(contentType, "application/json") {
		if err = json.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	}
	return errors.New("undefined response type")
}

把代码改成下面这样，对application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json这两种类型的数据，处理方法都等同于json

func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
	if strings.Contains(contentType, "application/xml") {
		if err = xml.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	} else if strings.Contains(contentType, "application/json") ||
		strings.Contains(contentType, "application/vnd.kafka.v2+json") ||
		strings.Contains(contentType, "application/vnd.kafka.json.v2+json") {
		if err = json.Unmarshal(b, v); err != nil {
			return err
		}
		return nil
	}
	return errors.New("undefined response type")
}

当然了这样做的弊端也很明显：只支持json格式的内容，kakfa原本支持的多种格式都不能处理了

第四个问题

第四个问题也和contentType有关，前面第三个问题发生在请求阶段，而第四个问题发生在处理响应数据的阶段
还是client.go文件，这次是setBody方法，先看看原始内容

// Set request body from an interface{}
func setBody(body interface{}, contentType string) (bodyBuf *bytes.Buffer, err error) {
	if bodyBuf == nil {
		bodyBuf = &bytes.Buffer{}
	}

	if reader, ok := body.(io.Reader); ok {
		_, err = bodyBuf.ReadFrom(reader)
	} else if b, ok := body.([]byte); ok {
		_, err = bodyBuf.Write(b)
	} else if s, ok := body.(string); ok {
		_, err = bodyBuf.WriteString(s)
	} else if s, ok := body.(*string); ok {
		_, err = bodyBuf.WriteString(*s)
	} else if jsonCheck.MatchString(contentType) {
		err = json.NewEncoder(bodyBuf).Encode(body)
	} else if xmlCheck.MatchString(contentType) {
		xml.NewEncoder(bodyBuf).Encode(body)
	}

	if err != nil {
		return nil, err
	}

	if bodyBuf.Len() == 0 {
		err = fmt.Errorf("Invalid body type %s\n", contentType)
		return nil, err
	}
	return bodyBuf, nil
}

修改后的内容如下图，红色箭头所指为新增内容

第五个问题

第五个问题，简直是strimzi拿来恶心开发者的，在拉取消息的时候，bridge的server端只支持application/vnd.kafka.json.v2+json，结果在OpenApi中却定义了多种类型，结果拉去消息的时候，bridge会提示多出的类型不支持
这个问题可以用postman等工具复现，如下图
代码的改动如下图，修改api_consumers.go

第六个问题

最后一个问题是数据结构定义问题，打开model_consumer_record_list.go，看到内容如下，真够坏的，挖这么大的坑...

package swagger

type ConsumerRecordList struct {
}

改成这样就好了

package swagger

type ConsumerRecordList []ConsumerRecord

第七个问题

第七个问题，也是挖了个坑让我跳，打开文件model_producer_record.go，内容如下，根据前一篇的请求内容，可知这里缺少两个字段：Key和Value

package swagger

type ProducerRecord struct {
	Partition int32 `json:"partition,omitempty"`
	Headers *KafkaHeaderList `json:"headers,omitempty"`
}

修改后如下

package swagger

type ProducerRecord struct {
	Partition int32 `json:"partition,omitempty"`
	Value string `json:"value"`
	Key string `json:"key,omitempty"`
	Headers *KafkaHeaderList `json:"headers,omitempty"`
}

第八个问题

最后一个问题，是在提交offset的时候，bridge后台不接受contentType，所以请打开文件api_consumers.go，修改如下，注释掉一行代码
坑已经填完了，开始验证SDK能不能用吧

编写代码验证功能：查看topic列表

打开main.go文件，增加以下内容，都是要用到的常量，以及sdk配置的初始化

// 测试用的topic
const TEST_TOPIC = "bridge-quickstart-topic"

const TEST_GROUP = "client-sdk-group"

const CONSUMER_NAME = "client-sdk-consumer-002"

// strimzi bridge地址
const BASE_PATH = "http://127.0.0.1:31331"

var client *swagger.APIClient

func init() {
	configuration := swagger.NewConfiguration()
	configuration.BasePath = BASE_PATH
	client = swagger.NewAPIClient(configuration)
}

调用SDK来查看kafka的topic列表的代码如下

func getAllTopics() ([]string, error) {
	array, response, err := client.TopicsApi.ListTopics(context.Background())

	if err != nil {
		log.Printf("getAllTopics err: %v\n", err)
		return nil, err
	}

	log.Printf("response: %v", response)

	return array, nil
}

在main方法中调用getAllTopics

func main() {
	topics, err := getAllTopics()
	if err != nil {
		return
	}

	fmt.Printf("topics: %v\n", topics)
}

运行main方法，结果如下，可见成功获取到topic列表，sdk能用

2022/12/18 21:26:33 response: &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[109] Content-Type:[application/vnd.kafka.v2+json]] 0x140000e0300 109 [] false false map[] 0x14000118100 <nil>}
topics: [__strimzi_store_topic bridge-quickstart-topic __strimzi-topic-operator-kstreams-topic-store-changelog]

Process finished with the exit code 0

编写代码验证功能：发送消息

发送消息的代码如下

// 发送消息(异步模式，不会收到offset返回)
func sendAsync(info string) error {
	log.Print("send [" + info + "]")
	_, response, err := client.ProducerApi.Send(context.Background(),
		TEST_TOPIC,
		swagger.ProducerRecordList{
			Records: []swagger.ProducerRecord{
				{Value: "message from go swagger SDK"},
			},
		},
		&swagger.SendOpts{Async: optional.NewBool(true)},
	)

	if err != nil {
		log.Printf("send err: %v\n", err)
		return err
	}

	log.Printf("response: %v", response.StatusCode)

	return nil
}

把main方法改成下面这样，连续调用发送消息的请求

func main() {
	for i := 0; i < 10; i++ {
		sendAsync("message from go client " + strconv.Itoa(i))
	}
}

控制台输出如下，可见发送消息成功，稍后咱们还会写消费的代码来消费这些消息

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:35:47 send [message from go client 0]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 1]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 2]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 3]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 4]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 5]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 6]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 7]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 8]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 9]
2022/12/18 21:35:47 response: 204

Process finished with the exit code 0

编写代码验证功能：创建consumer

先增加两个辅助方法，用来处理特别的包体和错误信息

// 取出swagger特有的error类型，从中提取中有效的错误信息
func getErrorMessage(err error) string {
	e := err.(swagger.GenericSwaggerError)
	return string(e.Body())
}

func getBodyStr(body io.ReadCloser) string {
	buf := new(bytes.Buffer)
	buf.ReadFrom(body)
	return buf.String()
}

创建consumer的代码如下

// 创建consumer
func CreateConsumer(group string, consumerName string) (*swagger.CreatedConsumer, error) {

	consumer, response, err := client.ConsumersApi.CreateConsumer(context.Background(),
		group,
		swagger.Consumer{
			Name:                     consumerName,
			AutoOffsetReset:          "latest",
			FetchMinBytes:            16,
			ConsumerRequestTimeoutMs: 300 * 1000,
			EnableAutoCommit:         false,
			Format:                   "json",
		})

	if err != nil {
		log.Printf("CreateConsumer error : %v", getErrorMessage(err))
		return nil, err
	}

	log.Printf("CreateConsumer response : %v, body [%v]", response, getBodyStr(response.Body))
	log.Printf("consumer : %v", consumer)
	return &consumer, nil
}

在main方法中调用，即可创建consumer

func main() {
	// 创建consumer
	CreateConsumer(TEST_GROUP, CONSUMER_NAME)
}

编写代码验证功能：订阅

订阅代码如下

// 订阅
func Subsciribe(topic string, consumerGroup string, consumerName string) error {

	response, err := client.ConsumersApi.Subscribe(context.Background(),
		swagger.Topics{Topics: []string{topic}},
		consumerGroup,
		consumerName,
	)

	if err != nil {
		log.Printf("Subscribe error : %v", err)
		return err
	}

	log.Printf("Subscribe response : %v", response)
	return nil
}

在main方法中这样调用

func main() {
	err := Subsciribe(TEST_TOPIC, TEST_GROUP, CONSUMER_NAME)
	if err != nil {
		fmt.Printf("err : %v\n", err)
	}
}

编写代码验证功能：拉取消息

以下是拉取消息的代码

// 拉取消息
func Poll(consumerGroup string, consumerName string) error {
	// ctx context.Context, groupid string, name string, localVarOptionals *PollOpts
	recordList, response, err := client.ConsumersApi.Poll(context.Background(), consumerGroup, consumerName, nil)
	if err != nil {
		log.Printf("Poll error : %v", err)
		return err
	}

	log.Printf("Poll response : %v", response)
	fmt.Printf("recordList: %v\n", recordList)
	return nil
}

main方法如下

func main() {
	Poll(TEST_GROUP, CONSUMER_NAME)
}

执行main方法，第一次拉取不到消息，别担心，这是正常的现象，按照官方的说法，拉取到的第一条消息就是空的，这是因为拉取操作出触发了rebalancing逻辑（rebalancing是kafka的概览，是处理多个partition消费的操作），再次执行main方法，这下正常了，控制台输出如下

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:43:16 Poll response : &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[2301] Content-Type:[application/vnd.kafka.json.v2+json]] 0x140000e0340 2301 [] false false map[] 0x1400011a100 <nil>}
recordList: [{ 163468 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163469 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163470 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163471 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163472 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163473 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 162246 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162247 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162248 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162249 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162250 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 163669 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163670 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163671 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163672 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163146 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163147 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163148 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163149 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163150 3 bridge-quickstart-topic message from go swagger SDK <nil>}]

Process finished with the exit code 0

编写代码验证功能：提交offset

最后是提交offset的功能，这样从消息的发送再到接收的整个流程都实现了api覆盖，增加Offset方法

// 提交offset
func Offset(consumerGroup string, consumerName string) error {
	response, err := client.ConsumersApi.Commit(context.Background(),
		consumerGroup,
		consumerName, nil)

	if err != nil {
		log.Printf("Poll error : %v", err)
		return err
	}

	log.Printf("Offset response : %v", response)
	return nil
}

调用很简单

func main() {
	err := Offset(TEST_GROUP, CONSUMER_NAME)
	if err != nil {
		print(err)
	}
}

执行结果如下，返回204，提交成功

/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 22:07:38 Offset response : &{204 No Content 204 HTTP/1.1 1 1 map[] {} 0 [] false false map[] 0x1400011a100 <nil>}

Process finished with the exit code 0

java的问题

从go版本的修改程度可以发现，基于openapiv2.json生成的sdk代码真的很难用，在go环境尚且如此，换成java环境就更难改了，虽然我也尝试过将其改好，但是面对很多jar的时候还是无能为力，下图是一个很难处理的地方，ApiClient并不支持application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json，contentType改不成正常的，bridge后台就会返回错误，所以最终我只能骂骂咧咧的放弃了

有收获吗？

面对这么烂的SDK源码，一般人都不会在生产环境使用，但是个人觉得也不是一无是处，这里小结一下收获

了解了go版本swagger sdk源码的基本结构，和请求响应逻辑
知道了大众工具也有出问题的时候
strimzi到底测试过吗，这个做CICD自动化应该可以做到吧，能进CNCF的项目，也是会出问题的...

欢迎关注博客园：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

posted @ 2023-10-07 10:51 程序员欣宸 Views(297) Comments(0) Edit 收藏举报

刷新页面返回顶部

zq2599

Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)

欢迎访问我的GitHub

本篇概览

为什么是golang版本

环境信息

下载OpenApi的配置文件

下载swagger工具

用swagger工具生成客户端sdk代码

创建一个golang的demo程序，使用刚刚生成的客户端sdk代码

修复有问题的sdk源码，第一个问题

第二个问题

第三个问题

第四个问题

第五个问题

第六个问题

第七个问题

第八个问题

编写代码验证功能：查看topic列表

编写代码验证功能：发送消息

编写代码验证功能：创建consumer

编写代码验证功能：订阅

编写代码验证功能：拉取消息

编写代码验证功能：提交offset

java的问题

有收获吗？

欢迎关注博客园：程序员欣宸

公告