摘要: # 简述MongoDB 是一种广泛使用的文档型数据库,对于 schema 弱要求、可扩展性强让其在很多场景普遍适用。 本文主要介绍如何使用 CloudCanal 快速构建一条稳定高效运行的 MongoDB 到 MongoDB 数据同步链路,示例中 MongoDB 均为 ReplicationSet 阅读全文
posted @ 2022-08-30 15:58 clougence 阅读(779) 评论(0) 推荐(0) 编辑
摘要: # 为什么我们要重构 Oracle 源端数据同步?CloudCanal 早期版本即支持了 Oracle 数据库,围绕**结构迁移**、**全量迁移**、**增量同步**三个核心步骤,构建了以 Oracle 数据库为源端的实时数据体系。 但之前的版本,也存在着不少问题,功能、性能、对数据库权限的挑战等 阅读全文
posted @ 2022-08-30 15:56 clougence 阅读(108) 评论(0) 推荐(0) 编辑
摘要: - # 简述 本案例为国内某大健康领域头部公司真实案例(因用户保密要求,暂不透露用户相关信息)。希望文章内容对各位读者使用 CloudCanal 构建实时数仓带来一些帮助。 # 业务背景 大健康背景下,用户对报表和数据大屏的实时性能要求越来越高。以核酸检测为例,检测结果需要实时统计分析,并在决策大屏 阅读全文
posted @ 2022-08-30 15:55 clougence 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 简述 实时数据处理领域中,使用 Flink 方式,除了从日志服务订阅埋点数据外,总离不开从关系型数据库订阅并处理相关业务数据,这时就需要监测并捕获数据库增量数据,将变更按发生的顺序写入到消息中间件以供计算(或消费)。 本文主要介绍如何通过 CloudCanal 快速构建一条高效稳定运行的 MySQL 阅读全文
posted @ 2022-08-30 15:34 clougence 阅读(658) 评论(0) 推荐(0) 编辑
摘要: # 简述 CloudCanal 2.2.0.7 版本开始支持 OceanBase 作为对端的数据迁移同步能力 本文通过 MySQL->OceanBase的数据迁移同步案例简要介绍这个源端的能力。链路特点: - 结构迁移、全量迁移、增量同步(数据)- 流程全自动化- 高度产品化:任务管理、监控、审计一 阅读全文
posted @ 2022-08-30 15:25 clougence 阅读(180) 评论(0) 推荐(0) 编辑
摘要: ## 简述 CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力 本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点: - 结构迁移、全量迁移、增量同步(数据)、数据校验俱全- 流程全自动化 ## 使用须知 阅读全文
posted @ 2022-08-30 15:23 clougence 阅读(1054) 评论(0) 推荐(0) 编辑
摘要: 简述 CloudCanal 2.0.X 版本近期支持了宽表构建能力,在数据预处理领域向前走了一步。 方案特点 相对灵活,对业务数据和结构贴合性好 能很好的支持事实表与维表打宽表需求 本文以 MySQL 到 ElasticSearch6 单事实表双维表为案例,介绍 CloudCanal 宽表构建和同步 阅读全文
posted @ 2022-01-07 09:59 clougence 阅读(744) 评论(0) 推荐(0) 编辑
摘要: 作者介绍 蒋鹏程,苏州万店掌软件技术有限公司 前言 CloudCanal 近期提供了自定义代码构建宽表能力,我们第一时间参与了该特性内测,并已落地生产稳定运行。开发流程详见官方文档 《CloudCanal自定义代码实时加工》。 能力特点包括: 灵活,支持反查打宽表,特定逻辑数据清洗,对账,告警等场景 阅读全文
posted @ 2022-01-07 09:58 clougence 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 简介 CloudCanal 2.0中我们将迎来一项重磅更新——自定义代码实时加工能力。自定义代码实时加工允许用户使用Java语言编写自定义的数据行处理逻辑,然后将代码jar包上传CloudCanal平台后,数据同步任务在执行全量、增量时会自动应用用户的自定义处理逻辑,然后再写入对端数据源。 应用场景 阅读全文
posted @ 2022-01-07 09:58 clougence 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 简述 之前的文章 5分钟搞定 MySQL 到 ClickHouse 实时数据同步 发布后,很多用户将 MySQL->ClickHouse 实时同步链路用了起来,但是我们很快发现,CollapsingMergeTree 在某些场景下可能并不能按预期进行数据折叠。 这个时候,我们参考了 ClickHou 阅读全文
posted @ 2022-01-07 09:57 clougence 阅读(5035) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示