摘要: 用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris 背景 StarRocks 和 Doris 是近两年来相当流行的、国产的、开源的实时数仓,不仅数据检索、分析能力出众,而且数据准备实时性好、准确度高、使用丝滑,可如同在线数据库般使用。 CloudCanal 在早期即支持此两种实时数仓,并且经过多次迭代,无论功能、性能、稳定性都趋于成熟。 不过正儿八经 阅读全文
posted @ 2023-12-01 10:10 clougence 阅读(73) 评论(0) 推荐(0) 编辑
摘要: 花 200 元测试 1300 个实时数据同步任务 背景 对于将数据作为重要生产资料的公司来说,超大规模的数据迁移同步系统( 1k、5k、10k 条同步任务)是刚需。 本文以此为出发点,介绍近期 CloudCanal 所做的一个容量测试:在单个 CloudCanal 集群上创建 1300 实时任务,验证系统是否健康。 这个健康度主要包括 同步任务是否 阅读全文
posted @ 2023-11-17 09:04 clougence 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 一镜到底 ElasticSearch 数据迁移同步技术 简介 CloudCanal 对于 Elasticsearch 的支持经历了很多轮迭代,版本一路从 6.x,7.x 支持到 8.x 版本,也适配了其纷繁多样的 API。 因为 Elasticsearch 是一个相当流行的、实时的、并且具备一定不可替代能力的搜索引擎,所以很有必要对比下市面上我们能够比较 阅读全文
posted @ 2023-11-03 12:32 clougence 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 快速构建 SAP ERP 内置数据库 HANA 到 StarRocks 的数据迁移同步任务 简述 SAP HANA 是由 SAP 开发的一款内存列式数据库, 具有预测分析、空间数据处理、文本分析、文本搜索、流分析、图形数据处理等高级分析功能。 HANA 内存列式数据库特性,即启动后可以把所有数据载入内存,相比传统基于硬盘的数据库,性能提升10~10,000倍。 HANA 一般内置在 SAP 阅读全文
posted @ 2023-09-15 11:05 clougence 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 国产数据库 GaussDB 数据迁移同步初探 ## 简介 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230825) 近期发布了 [GaussDB for MySQL](https://www.huaweicloud.com/product/gaussdbformysql.html)和 阅读全文
posted @ 2023-08-25 11:30 clougence 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 手把手教你做 Redis 双向数据同步 本文主要介绍如何使用 CloudCanal 构建生产级稳定性的 Redis 双向数据同步,具备版本兼容全面、功能细节丰富自然等特点。 阅读全文
posted @ 2023-08-18 11:05 clougence 阅读(720) 评论(0) 推荐(0) 编辑
摘要: ## 简述 本文主要介绍使用 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230721) 做数据迁移同步时如何对特定数据做脱敏处理。 ## 技术点 ### 自定义代码 CloudCanal 允许用户上传业务代码到数据任务中,完成数据迁移、同 阅读全文
posted @ 2023-07-21 11:48 clougence 阅读(95) 评论(0) 推荐(0) 编辑
摘要: CloudCanal x OceanBase 数据迁移同步优化 简述 CloudCanal 去年支持 OceanBase 数据迁移同步能力后,随着使用用户增多以及问题反馈,近期对该能力进行了一轮较大规模的优化。 本篇文章简要介绍这些优化点,以及未来该能力的演进方向。 优化点 大幅提升同步性能 CloudCanal 目前使用 OceanBase LogProxy 阅读全文
posted @ 2023-04-27 11:40 clougence 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 简述 Db2 是一款具有悠久历史的关系型数据库,由 IBM 公司开发和维护,广泛应用于金融级业务场景。 CloudCanal 近期提供了 Db2 为源端的数据迁移同步 功能,用户可以便利地将 Db2 中数据实时同步到其他数据库,实现数据更广泛、更实时的应用。 功能介绍 目标数据库和能力 | 目标端数 阅读全文
posted @ 2023-03-31 12:18 clougence 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 简述 本篇文章主要介绍如何使用 CloudCanal 构建一条 Oracle 到 PostgreSQL 的数据同步链路 技术要点 缩小的数据库权限要求 CloudCanal 对 Oracle 数据库的高权限要求,主要来自两个面向 DBA 的操作,自动构建字典和 自动切换归档日志,这两个操作主要是让用 阅读全文
posted @ 2023-01-13 16:55 clougence 阅读(390) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示