2024年7月17日
Iceberg v2表写入和微批治理冲突，如何保证治理准确性
摘要： 一、背景 微批治理任务分多个job治理一张表，还有一个Flink程序每5分钟一次写入iceberg表，如治理任务划分了20个job治理一张表，在治理期间存在新的数据更新，如何保证治理准确性 二、治理时写入，快照对应信息 1、治理和写入时快照和文件变化 snapshot_id sequence num 阅读全文
posted @ 2024-07-17 09:23 黑水滴 阅读(7) 评论(0) 推荐(0) 编辑