会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
黑水滴
博客园
首页
新随笔
联系
管理
订阅
2024年5月14日
Flink同步mysql到iceberg
摘要: 一、如何做一致性保障 1、全量数据分片读取,增量数据单并发读取,保证增量阶段不会乱序2、全量阶段写入失败会清空表后重新写入,避免重复数据。3、全量阶段多task并行读取,把每个task开始结束时间提交给Flink Coordinator,由Coordinator做时间合并后,仅读取一次全量同步区间内
阅读全文
posted @ 2024-05-14 10:41 黑水滴
阅读(22)
评论(0)
推荐(0)
编辑
公告