01 2022 档案
摘要:简述 CloudCanal 2.0.X 版本近期支持了宽表构建能力,在数据预处理领域向前走了一步。 方案特点 相对灵活,对业务数据和结构贴合性好 能很好的支持事实表与维表打宽表需求 本文以 MySQL 到 ElasticSearch6 单事实表双维表为案例,介绍 CloudCanal 宽表构建和同步
阅读全文
摘要:作者介绍 蒋鹏程,苏州万店掌软件技术有限公司 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,并已落地生产稳定运行。开发流程详见官方文档 《CloudCanal自定义代码实时加工》。 能力特点包括: 灵活,支持反查打宽表,特定逻辑数据清洗,对账,告警等场景
阅读全文
摘要:简介 CloudCanal 2.0中我们将迎来一项重磅更新——自定义代码实时加工能力。自定义代码实时加工允许用户使用Java语言编写自定义的数据行处理逻辑,然后将代码jar包上传CloudCanal平台后,数据同步任务在执行全量、增量时会自动应用用户的自定义处理逻辑,然后再写入对端数据源。 应用场景
阅读全文
摘要:简述 之前的文章 5分钟搞定 MySQL 到 ClickHouse 实时数据同步 发布后,很多用户将 MySQL->ClickHouse 实时同步链路用了起来,但是我们很快发现,CollapsingMergeTree 在某些场景下可能并不能按预期进行数据折叠。 这个时候,我们参考了 ClickHou
阅读全文
摘要:作者介绍 Ceven,德勤乐融(北京)科技有限公司 邮箱:likailin@deqinyuerong.com 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,效果不错。开发流程详见官方文档 《CloudCanal自定义代码实时加工》 能力特点包括: 灵活,
阅读全文
摘要:简述 CloudCanal 近期支持了 PolarDB-X 对端, 目前开放的链路为 MySQL 到 PolarDB-X 。 本链路特点包括 完整支持结构迁移、全量迁移、增量同步、数据校验 支持 PolarDB-X 云版本 API 级对接(自动获取实例、添加白名单) 支持 PolarDB-X 开源自
阅读全文