摘要: Sap Hana 数据迁移同步优化(二) CloudCanal 近期对 Hana 源端链路做了新一轮优化,这篇文章简要做下分享。 阅读全文
posted @ 2024-05-24 16:27 clougence 阅读(50) 评论(0) 推荐(0) 编辑
摘要: CloudCanal x Hive 构建高效的实时数仓 CloudCanal 最近对于全周期数据流动进行了初步探索,打通了 Hive 目标端的实时同步,为实时数仓的构建提供了支持,这篇文章简要做下分享。 阅读全文
posted @ 2024-03-01 14:30 clougence 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 用 CloudCanal 做跨互联网数据库双向同步 简介 CloudCanal 推出 跨互联网安全数据同步 方案之后,有一些商业客户落地,效果良好,不过客户也反馈了一些改进和新需求,其中最大的一个需求即双向同步防循环。 近期 CloudCanal 版本支持了这个特性,整体方案进一步升级,最大特点包括: 两端数据库完全不开放公网端口 两端数据库可双向同 阅读全文
posted @ 2024-01-19 11:32 clougence 阅读(220) 评论(0) 推荐(0) 编辑
摘要: Hana 实时数据同步优化(3) 简述 CloudCanal 近期对 Hana 源端链路做了新一轮优化,优化点主要来自用户实际场景使用,这篇文章简要做下分享。 本轮优化主要包含: 新增任务级增量表 新增增量表定时清理能力 新增增量表表结构自动演进能力 任务延迟判定优化 Hana 1.x 的兼容 产品化和文档优化 优化点 任务级增量表 阅读全文
posted @ 2024-01-11 20:01 clougence 阅读(61) 评论(0) 推荐(0) 编辑
摘要: CloudCanal x Redis 数据同步指令集丰富与细节优化 简述 CloudCanal 前一段时间支持了 Redis 到 Redis 数据迁移同步能力,并支持其双向同步,但是支持的指令种类有限。 随着用户使用,指令支持不全面成为一个比较大的问题,所以最近的版本,我们对此能力,结合用户实际碰到的问题,进行了新一轮优化。 此轮优化的特点是: 增加数据初始化的类型 阅读全文
posted @ 2024-01-05 11:19 clougence 阅读(23) 评论(0) 推荐(0) 编辑
摘要: CloudCanal x Debezium 打造实时数据流动新范式 本文主要介绍 CloudCanal 从 Kafka 订阅消费 Debezium 格式数据同步到 10 几种主流数据库和数仓的技术和使用示例 阅读全文
posted @ 2023-12-21 20:27 clougence 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris 背景 StarRocks 和 Doris 是近两年来相当流行的、国产的、开源的实时数仓,不仅数据检索、分析能力出众,而且数据准备实时性好、准确度高、使用丝滑,可如同在线数据库般使用。 CloudCanal 在早期即支持此两种实时数仓,并且经过多次迭代,无论功能、性能、稳定性都趋于成熟。 不过正儿八经 阅读全文
posted @ 2023-12-01 10:10 clougence 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 花 200 元测试 1300 个实时数据同步任务 背景 对于将数据作为重要生产资料的公司来说,超大规模的数据迁移同步系统( 1k、5k、10k 条同步任务)是刚需。 本文以此为出发点,介绍近期 CloudCanal 所做的一个容量测试:在单个 CloudCanal 集群上创建 1300 实时任务,验证系统是否健康。 这个健康度主要包括 同步任务是否 阅读全文
posted @ 2023-11-17 09:04 clougence 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 一镜到底 ElasticSearch 数据迁移同步技术 简介 CloudCanal 对于 Elasticsearch 的支持经历了很多轮迭代,版本一路从 6.x,7.x 支持到 8.x 版本,也适配了其纷繁多样的 API。 因为 Elasticsearch 是一个相当流行的、实时的、并且具备一定不可替代能力的搜索引擎,所以很有必要对比下市面上我们能够比较 阅读全文
posted @ 2023-11-03 12:32 clougence 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 快速构建 SAP ERP 内置数据库 HANA 到 StarRocks 的数据迁移同步任务 简述 SAP HANA 是由 SAP 开发的一款内存列式数据库, 具有预测分析、空间数据处理、文本分析、文本搜索、流分析、图形数据处理等高级分析功能。 HANA 内存列式数据库特性,即启动后可以把所有数据载入内存,相比传统基于硬盘的数据库,性能提升10~10,000倍。 HANA 一般内置在 SAP 阅读全文
posted @ 2023-09-15 11:05 clougence 阅读(210) 评论(0) 推荐(0) 编辑