摘要:
简述 CloudCanal 2.1.0.x 版本开始支持 Oracle 作为源端的数据迁移同步能力,目前邀请测试中。 本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点: 结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化 此文章简要介绍如何快速构 阅读全文
摘要:
简述 CloudCanal 2.X 版本近期支持了自定义代码能力,带来了丰富的场景化数据能力,本文主要介绍在面向 To C 业务分库分表情况下,如何通过 CloudCanal 进行数据实时汇聚。 本方案特点: 数据处理灵活,适配多变的业务数据汇聚需求 针对大部分带结构数据源互通,可举一反三 稳定性 阅读全文
摘要:
简述 上一篇文章介绍了使用 CloudCanal 进行 MySQL 到 ElasticSearch 的宽表构建, 有蛮多朋友关注和尝试使用,我们也在不断迭代升级这个能力。 作为产品的通用功能,今天我们介绍下 MySQL → ClickHouse 的宽表构建案例。 技术点 ClickHouse 表关联 阅读全文
摘要:
简述 CloudCanal 2.0.X 版本近期支持了宽表构建能力,在数据预处理领域向前走了一步。 方案特点 相对灵活,对业务数据和结构贴合性好 能很好的支持事实表与维表打宽表需求 本文以 MySQL 到 ElasticSearch6 单事实表双维表为案例,介绍 CloudCanal 宽表构建和同步 阅读全文
摘要:
作者介绍 蒋鹏程,苏州万店掌软件技术有限公司 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,并已落地生产稳定运行。开发流程详见官方文档 《CloudCanal自定义代码实时加工》。 能力特点包括: 灵活,支持反查打宽表,特定逻辑数据清洗,对账,告警等场景 阅读全文
摘要:
简介 CloudCanal 2.0中我们将迎来一项重磅更新——自定义代码实时加工能力。自定义代码实时加工允许用户使用Java语言编写自定义的数据行处理逻辑,然后将代码jar包上传CloudCanal平台后,数据同步任务在执行全量、增量时会自动应用用户的自定义处理逻辑,然后再写入对端数据源。 应用场景 阅读全文
摘要:
简述 之前的文章 5分钟搞定 MySQL 到 ClickHouse 实时数据同步 发布后,很多用户将 MySQL->ClickHouse 实时同步链路用了起来,但是我们很快发现,CollapsingMergeTree 在某些场景下可能并不能按预期进行数据折叠。 这个时候,我们参考了 ClickHou 阅读全文
摘要:
作者介绍 Ceven,德勤乐融(北京)科技有限公司 邮箱:likailin@deqinyuerong.com 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,效果不错。开发流程详见官方文档 《CloudCanal自定义代码实时加工》 能力特点包括: 灵活, 阅读全文
摘要:
简述 CloudCanal 近期支持了 PolarDB-X 对端, 目前开放的链路为 MySQL 到 PolarDB-X 。 本链路特点包括 完整支持结构迁移、全量迁移、增量同步、数据校验 支持 PolarDB-X 云版本 API 级对接(自动获取实例、添加白名单) 支持 PolarDB-X 开源自 阅读全文
摘要:
简述 之前的一篇文章异地多活基础之数据双向同步发出来后,很多用户开始测评该方案,有使用稳定的,但也有用户碰到了一些问题(性能和GTID空洞)。为了解决这些问题,我们在 MySQL 到 MySQL 双向同步方案上又多走了一步。相比之前的方案,优势明显。 不依赖 GTID 不依赖事务的顺序,可并行 对端 阅读全文