【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标

合集 - 助力长期平稳运行大数据作业(23)

1.【Flink系列二十】Flink Example AsyncIOExample long running 应用程序的应用2023-10-262.【Flink系列二十一】深入理解 JVM的类型加载约束，解决 Flink 类型加载冲突问题的通用方法2023-12-293.【Flink系列十九】Flink 作业Hadoop 依赖冲突解决NoSuchMethodError2023-09-184.HDFS_DELEGATION_TOKEN过期的问题解决汇总2023-09-125.【Flink系列十八】History Server 重新登场，如何实现Yarn日志集成2023-05-316.【Flink系列十七】Flink 最新yarn-application和yarn-per-job部署模式的Classpath传递分析2023-05-297.【Flink系列十六】PrometheusPushGatewayReporter 限流压力过大解决2022-08-038.【Flink系列十五】FLINK-24950 registerTemporaryFunction NullPointerException2022-04-229.【Flink系列十四】Flink JVM参数不生效的问题分析和解决2022-04-11

10.【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标2022-03-24

11.【Flink系列十二】使用OpenResty 在InfluxDB协议层拦截Flink指标2022-03-1312.【Flink系列十一】FlinkSQL Gateway以及支持Kerberos多租户的实现思路2022-01-2613.【Flink系列十】Flink作业提交过程的调试和诊断2021-11-0214.【Flink系列九】Flink 作业提交遇到的问题记录以及原理2021-11-0115.【Flink系列八】构建实时计算平台——动态加载Catalog中的UDF2021-05-1016.【Flink系列零】构建实时计算平台——FlinkSQL 作业菜鸟笔记2021-05-1017.【Flink系列七】构建实时计算平台——校验FlinkSQL2021-04-1918.【Flink系列六】构建实时计算平台——Flink 1.10+通过Kerberos连接HiveCatalog2021-03-1519.【Flink系列五】构建实时计算平台——flink-connector-hive连接HiveMetastore遇到问题2021-01-0820.【Flink系列四】构建实时计算平台——Flink SQLClient启动失败的问题笔记2021-01-0521.【Flink系列三】构建实时计算平台——特别篇，Influxdb Java客户端访问指标数据2020-10-2922.【Flink系列二】构建实时计算平台——特别篇，用InfluxDb收集Flink Metrics2020-10-2323.【Flink系列一】构建实时计算平台——Flink开启和恢复Checkpoint2020-10-23

收起

问题

使用了Flink-Kafka-Connector（版本1.13.0)，使用FlinkKafkaConsumer 上报了KafkaLag指标，但是换成 KafkaSource 却没有任何指标。

原因

通过查阅 JIRA发现，Flink-1.13的 kafka-connector 的新版KafkaSource 没有上报指标。
Report metrics of KafkaConsumer in Kafka new source

修复的版本：1.13.2, 1.14，意思是升级到这两个版本才能上报Kafka相关的指标。

兼容性

如果遇到这个问题，则说明 kafka-clients的版本太低。

Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.committed(Ljava/util/Set;)Ljava/util/Map;
	at org.apache.flink.connector.kafka.source.reader.KafkaPartitionSplitReader.acquireAndSetStoppingOffsets(KafkaPartitionSplitReader.java:331) ~[flink-application-xxxx.jar:?]

Flink-Kafka-Connector 和 KafkaClients的兼容性说明

Flink-1.13.2+ 使用的Kafka API至少2.4.1。

• Kafka版本的兼容性未在官方文档中指出。Flink源码中引用的版本是 kafka-clients 2.4.1。

Flink-1.13.2 使用到新版的KafkaAPI 变更的说明

• KIP-520: Add overloaded Consumer#committed for batching partitions

解决方案

Flink 1.13的发行版，可以直接使用1.13.2的Flink-kafka-connector。

依据：通过查看 有关源码 FLINK-22766，发现该Connector的变更不依赖除Connector以外的任何变更，因此可以兼容Flink-1.13.0。

也可以把Flink发行版+Connector直接升级到 Flink-1.13.2，Flink-1.14。

参考链接

Flink 发起的KafkaSource 提议

• FLIP-27