随笔分类 -  flink消费kafka

SchemaRegestry组件原生的类和方法无法实现flink消费kafka的数据动态调整schema的情况--未彻底解决
摘要：0、前提知识储备 Conflurent公司的SchemaRegestry组件的基本了解和使用 一、背景： 0.组件版本 flink：1.14 1.链路调整情况 原先链路：oracle-->OGG-->kafka-->flink-->数据库\湖\仓 实现链路：oracle-->OGG-->kafka（ 阅读全文
posted @ 2023-04-19 14:49 贾彤 阅读(58) 评论(0) 推荐(0) 编辑
flink消费kafka数据如何保证kafka的分区与flink的消费线程一一对应？
摘要：1.flink程序总的消费线程是如何找见消费的对应kafka分区的？ 核心代码如下： public static int assign(KafkaTopicPartition partition, int numParallelSubtasks) { int startIndex = ((parti 阅读全文
posted @ 2022-09-06 14:47 贾彤 阅读(1120) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示