01 2022 档案

摘要:简述 CloudCanal 2.0.X 版本近期支持了宽表构建能力,在数据预处理领域向前走了一步。 方案特点 相对灵活,对业务数据和结构贴合性好 能很好的支持事实表与维表打宽表需求 本文以 MySQL 到 ElasticSearch6 单事实表双维表为案例,介绍 CloudCanal 宽表构建和同步 阅读全文
posted @ 2022-01-07 09:59 clougence 阅读(740) 评论(0) 推荐(0) 编辑
摘要:作者介绍 蒋鹏程,苏州万店掌软件技术有限公司 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,并已落地生产稳定运行。开发流程详见官方文档 《CloudCanal自定义代码实时加工》。 能力特点包括: 灵活,支持反查打宽表,特定逻辑数据清洗,对账,告警等场景 阅读全文
posted @ 2022-01-07 09:58 clougence 阅读(225) 评论(0) 推荐(0) 编辑
摘要:简介 CloudCanal 2.0中我们将迎来一项重磅更新——自定义代码实时加工能力。自定义代码实时加工允许用户使用Java语言编写自定义的数据行处理逻辑,然后将代码jar包上传CloudCanal平台后,数据同步任务在执行全量、增量时会自动应用用户的自定义处理逻辑,然后再写入对端数据源。 应用场景 阅读全文
posted @ 2022-01-07 09:58 clougence 阅读(336) 评论(0) 推荐(0) 编辑
摘要:简述 之前的文章 5分钟搞定 MySQL 到 ClickHouse 实时数据同步 发布后,很多用户将 MySQL->ClickHouse 实时同步链路用了起来,但是我们很快发现,CollapsingMergeTree 在某些场景下可能并不能按预期进行数据折叠。 这个时候,我们参考了 ClickHou 阅读全文
posted @ 2022-01-07 09:57 clougence 阅读(5033) 评论(0) 推荐(0) 编辑
摘要:作者介绍 Ceven,德勤乐融(北京)科技有限公司 邮箱:likailin@deqinyuerong.com 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,效果不错。开发流程详见官方文档 《CloudCanal自定义代码实时加工》 能力特点包括: 灵活, 阅读全文
posted @ 2022-01-07 09:56 clougence 阅读(1192) 评论(0) 推荐(0) 编辑
摘要:简述 CloudCanal 近期支持了 PolarDB-X 对端, 目前开放的链路为 MySQL 到 PolarDB-X 。 本链路特点包括 完整支持结构迁移、全量迁移、增量同步、数据校验 支持 PolarDB-X 云版本 API 级对接(自动获取实例、添加白名单) 支持 PolarDB-X 开源自 阅读全文
posted @ 2022-01-07 09:55 clougence 阅读(643) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示