合集-CloudCanal
摘要：
简述 CloudCanal 去年支持 OceanBase 数据迁移同步能力后，随着使用用户增多以及问题反馈，近期对该能力进行了一轮较大规模的优化。 本篇文章简要介绍这些优化点，以及未来该能力的演进方向。 优化点 大幅提升同步性能 CloudCanal 目前使用 OceanBase LogProxy
阅读全文
简述 CloudCanal 去年支持 OceanBase 数据迁移同步能力后，随着使用用户增多以及问题反馈，近期对该能力进行了一轮较大规模的优化。 本篇文章简要介绍这些优化点，以及未来该能力的演进方向。 优化点 大幅提升同步性能 CloudCanal 目前使用 OceanBase LogProxy
阅读全文
摘要：## 简述 本文主要介绍使用 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230721) 做数据迁移同步时如何对特定数据做脱敏处理。 ## 技术点 ### 自定义代码 CloudCanal 允许用户上传业务代码到数据任务中，完成数据迁移、同
阅读全文
摘要：
本文主要介绍如何使用 CloudCanal 构建生产级稳定性的 Redis 双向数据同步，具备版本兼容全面、功能细节丰富自然等特点。
阅读全文
本文主要介绍如何使用 CloudCanal 构建生产级稳定性的 Redis 双向数据同步，具备版本兼容全面、功能细节丰富自然等特点。
阅读全文
摘要：
## 简介 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230825) 近期发布了 [GaussDB for MySQL](https://www.huaweicloud.com/product/gaussdbformysql.html)和
阅读全文
## 简介 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230825) 近期发布了 [GaussDB for MySQL](https://www.huaweicloud.com/product/gaussdbformysql.html)和
阅读全文
摘要：
简介 CloudCanal 对于 Elasticsearch 的支持经历了很多轮迭代，版本一路从 6.x,7.x 支持到 8.x 版本，也适配了其纷繁多样的 API。 因为 Elasticsearch 是一个相当流行的、实时的、并且具备一定不可替代能力的搜索引擎，所以很有必要对比下市面上我们能够比较
阅读全文
简介 CloudCanal 对于 Elasticsearch 的支持经历了很多轮迭代，版本一路从 6.x,7.x 支持到 8.x 版本，也适配了其纷繁多样的 API。 因为 Elasticsearch 是一个相当流行的、实时的、并且具备一定不可替代能力的搜索引擎，所以很有必要对比下市面上我们能够比较
阅读全文
摘要：
背景 对于将数据作为重要生产资料的公司来说，超大规模的数据迁移同步系统( 1k、5k、10k 条同步任务)是刚需。 本文以此为出发点，介绍近期 CloudCanal 所做的一个容量测试：在单个 CloudCanal 集群上创建 1300 实时任务，验证系统是否健康。 这个健康度主要包括 同步任务是否
阅读全文
背景 对于将数据作为重要生产资料的公司来说，超大规模的数据迁移同步系统( 1k、5k、10k 条同步任务)是刚需。 本文以此为出发点，介绍近期 CloudCanal 所做的一个容量测试：在单个 CloudCanal 集群上创建 1300 实时任务，验证系统是否健康。 这个健康度主要包括 同步任务是否
阅读全文
摘要：
本文主要介绍 CloudCanal 从 Kafka 订阅消费 Debezium 格式数据同步到 10 几种主流数据库和数仓的技术和使用示例
阅读全文
本文主要介绍 CloudCanal 从 Kafka 订阅消费 Debezium 格式数据同步到 10 几种主流数据库和数仓的技术和使用示例
阅读全文
摘要：
简述 CloudCanal 前一段时间支持了 Redis 到 Redis 数据迁移同步能力，并支持其双向同步，但是支持的指令种类有限。 随着用户使用，指令支持不全面成为一个比较大的问题，所以最近的版本，我们对此能力，结合用户实际碰到的问题，进行了新一轮优化。 此轮优化的特点是： 增加数据初始化的类型
阅读全文
简述 CloudCanal 前一段时间支持了 Redis 到 Redis 数据迁移同步能力，并支持其双向同步，但是支持的指令种类有限。 随着用户使用，指令支持不全面成为一个比较大的问题，所以最近的版本，我们对此能力，结合用户实际碰到的问题，进行了新一轮优化。 此轮优化的特点是： 增加数据初始化的类型
阅读全文
摘要：
本文主要介绍 CloudCanal 数据防重能力，降低数据汇聚场景各个来源数据表名冲突、主键/唯一键约束冲突的概率，从而让用户更加便捷地落地在线数据应用。
阅读全文
本文主要介绍 CloudCanal 数据防重能力，降低数据汇聚场景各个来源数据表名冲突、主键/唯一键约束冲突的概率，从而让用户更加便捷地落地在线数据应用。
阅读全文
摘要：
CloudCanal 最近对于全周期数据流动进行了初步探索，打通了
Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。
阅读全文
CloudCanal 最近对于全周期数据流动进行了初步探索，打通了
Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。
阅读全文
摘要：
简述 CloudCanal 最近再次对其 Oracle 源端数据同步进行了一系列优化，这些优化基于用户在真实场景中的反馈，具备很强的生产级别参考意义。 本文将简要介绍这些优化项，希望带给读者一些收获。 增量事件 SCN 乱序问题 MISSING_SCN 事件干扰 新增的归档日志消费模式 优化点 增量
阅读全文
简述 CloudCanal 最近再次对其 Oracle 源端数据同步进行了一系列优化，这些优化基于用户在真实场景中的反馈，具备很强的生产级别参考意义。 本文将简要介绍这些优化项，希望带给读者一些收获。 增量事件 SCN 乱序问题 MISSING_SCN 事件干扰 新增的归档日志消费模式 优化点 增量
阅读全文
摘要：
CloudCanal 近期对 Hana 源端链路做了新一轮优化，这篇文章简要做下分享。
阅读全文
CloudCanal 近期对 Hana 源端链路做了新一轮优化，这篇文章简要做下分享。
阅读全文
摘要：
本文主要介绍如何通过 CloudCanal 结合 ElasticSearch 增量数据捕获插件，实现 ElasticSearch 到 ElasticSearch 数据迁移同步。ElasticSearch 作为现代数据应用的重要组成部分，通过 CloudCanal 数据迁移同步加持，让数据进出更加便利和顺畅。
阅读全文
本文主要介绍如何通过 CloudCanal 结合 ElasticSearch 增量数据捕获插件，实现 ElasticSearch 到 ElasticSearch 数据迁移同步。ElasticSearch 作为现代数据应用的重要组成部分，通过 CloudCanal 数据迁移同步加持，让数据进出更加便利和顺畅。
阅读全文
摘要：本文简要介绍了 CloudCanal 实现 Oracle 到 ClickHouse 数据迁移同步的能力，帮助业务快速构建实时数据分析环境。
阅读全文
摘要：CloudCanal 与 Bytebase 强强联合，提供专业的数据库相关解决方案，给用户带来更加高效、稳定、便捷的数据库管理及同步体验。 两大数据库核心开发场景 研发团队与数据库打交道，主要围绕如何访问数据、发布变更以及在不同数据库之间实现数据的同步与迁移展开： 变更管理 在实际场景中，研发团队往
阅读全文
摘要：使用 CloudCanal 进行 Hana 到 PostgreSQL 数据迁移同步，操作简便的同时带来高效的数据同步体验，大大加快了企业的数据流通与数据平台构建。
阅读全文
摘要：简述 PostgreSQL 是一个历史悠久且广泛使用的数据库，不仅具备标准的关系型数据库能力，还具有相当不错的复杂 SQL 执行能力。用户常常会将 PostgreSQL 应用于在线事务型业务，以及部分数据分析工作，所以 PostgreSQL 到 PostgreSQL 数据迁移同步成为了一个重要工作。
阅读全文
摘要：CloudCanal 再次优化 MySQL到 ClickHouse 数据链路，大幅提升数据同步性能，帮助业务快速构建实时数据分析环境。
阅读全文
摘要：使用 CloudCanal 进行 Kakfa 到 Kafka 数据同步，助力企业快速构建数据管道，增强数据分析能力。
阅读全文
摘要：使用 CloudCanal 实现 Oracle 到 Elasticsearch 数据迁移同步，增强数据分析及实时搜索能力，提升数据的价值！
阅读全文
摘要：使用 CloudCanal 进行 SAP HANA 到 MySQL 数据迁移同步，打通数据流动的渠道，实现端到端的精准数据传输。
阅读全文
摘要：简述 Redis 是一个开源的高性能内存数据库，支持键值对和多种数据结构（如字符串、列表、集合、哈希等），常用于缓存、实时数据处理和分布式锁。它提供持久化、主从复制和高可用集群功能，适用于高并发低延迟场景。 本文主要介绍如何通过 CloudCanal 实现 Redis 到 Redis 数据迁移同步。
阅读全文
摘要：CloudCanal 的 2024，稳扎稳打，开拓创新。 这一年里，CloudCanal 依旧保持稳定的更新频率，共发布 13 个版本，CloudCanal 本年度累计开发 170+ 项新特性，完成 120+ 处功能优化，修复大大小共 220+ 个 bug，在功能完备性和稳定性方面有了质的飞跃。每一
阅读全文
摘要：简述 TDengine 是一款开源、高性能、云原生的时序数据库，专为物联网、车联网、工业互联网、金融、IT 运维等场景优化设计。在工业自动化的时代，时序数据库在电力、轨道交通、智能制造等领域有着广泛的应用。 MySQL 是全球广泛使用的开源关系型数据库，能够高效处理大量数据和复杂查询需求，并且具有较
阅读全文
摘要：在数据库数据迁移、同步过程中，数据脱敏（Data Masking）是一个非常重要的步骤，是确保数据迁移、同步、测试等场景中 安全性、合规性和隐私保护 的关键技术。凡是涉及敏感数据传输，都需要考虑数据脱敏，避免数据泄露带来的损失。 数据脱敏主要可以分为 静态脱敏 和 动态脱敏 两大类。静态脱敏 指的是
阅读全文
摘要：简介 随着大语言模型飞速演进，其在知识时效、生成准确性以及与外部系统交互方面的局限也愈发显现。 为此，检索增强生成（RAG）、函数调用（Function Calling）、模型上下文协议（MCP）与 AI 智能体（AI Agent）等一系列技术相继涌现，为模型补足“知识新鲜度”与“操作执行力”。 近
阅读全文
摘要：在之前的文章中，我们已经厘清了 GenAI 的关键概念：RAG、Function Calling、MCP、AI Agent。接下来的问题在于，如何从概念到实操？ 目前，网上可以搜到很多 RAG 构建教程，但大部分教程都基于 LangChain 等，对小白来说仍有一定的入门门槛。 CloudCanal
阅读全文
摘要：在企业级 AI 应用中，RAG（Retrieval-Augmented Generation）技术正在逐步从探索走向落地。与面向个人使用者的轻量级问答系统不同，企业对 RAG 的要求更高：它必须可靠、可控、可扩展，最重要的是——安全。许多企业对于数据上传至在线大模型或公有云向量数据库持谨慎甚至禁止态
阅读全文
摘要：简述 在业务数据快速膨胀的今天，企业对 低成本存储 与 实时查询分析能力 的需求愈发迫切。 本文将带你实战构建一条 MySQL 到 Iceberg 的数据链路，借助 CloudCanal 快速完成数据迁移与同步，并使用 StarRocks 完成数据查询等操作，构建涵盖 关系型数据库服务、实时数据分析
阅读全文
摘要：背景介绍 在长期支持企业数据迁移同步的过程中，CloudCanal 经常碰到跨省、跨国乃至跨洲的业务需求。不少客户都问到：部署 CloudCanal 的最佳方案是什么？ 虽然我们从产品技术角度能够提供一些建议，但实际情况往往比较复杂。本文将基于理论与实践，深入探讨跨洲际数据迁移同步的最佳实践方案。
阅读全文
摘要：简介 在数据迁移同步领域，常常会碰到客户咨询相似的问题，我们也从自身实践经验出发，给到合适的答复，回答次数多了，就想着通过文字固化，方便后续应对这些需求。本文即该系列第一篇，有回答偏颇之处，还望见谅，权当博君一笑。 本期问题目录： 数据库官方工具与第三方工具如何选择？ 业务能依赖实时同步工具的延迟吗
阅读全文
摘要：在之前的文章中，我们介绍了如何使用 CloudCanal 和 Ollama 搭建全栈私有的 RAG 问答服务，为企业级 RAG 应用提供了部署简单、安全可靠的解决方案。 最近，我们用这套方案，在 CloudCanal 官网上线了基于 知识库 的智能问答机器人。在发布前的测试过程中，却发现它似乎没有想
阅读全文
摘要：在企业级的数据同步和迁移场景中，Redis 凭借高性能和灵活的数据结构，常被用于缓存和高频读写场景。随着业务数据的积累，Redis 中不可避免会出现包含大量元素的“大 Key”，如包含几十万条数据的 List、Set 或 Hash 类型。在进行全量同步或迁移时，大 Key 往往成为性能瓶颈甚至故障源
阅读全文
摘要：在企业级数据场景中，一个报表查询往往需要需要 3 张以上表的 JOIN，这类查询在数据量较大的场景下，需要数分钟甚至个把小时才能返回。 本文将简要探讨宽表技术的来龙去脉，以及它如何帮助解决多表关联带来的性能瓶颈，并结合 CloudCanal 最新推出的可视化宽表构建功能，无痛实现跨表数据的实时整合。
阅读全文
摘要：在实时数仓的浪潮下，企业越来越重视如何以低延迟、高一致性的方式将数据写入数据湖，并结合下游分析引擎完成统一分析。Apache Paimon 作为新一代流批一体的数据湖存储引擎，因其高效写入、实时更新等能力，成为构建实时湖仓架构的理想选型。 本文将介绍如何基于 Paimon、CloudCanal、St
阅读全文
摘要：在大模型（LLM）驱动的问答系统中，RAG（Retrieval-Augmented Generation）架构正迅速成为主流。然而在实际应用中，即便接入了如 GPT-4 或 Claude 等先进模型，但生成结果仍然不够理想。 问题的根源往往并不在于模型本身，而在于——它没有检索到相关信息，这就引出了
阅读全文
摘要：随着国产化趋势的推进，达梦数据库在政务、金融、电信等关键行业中被越来越多地采用，处理着核心业务数据。与此同时，企业对数据分析的要求也在不断升级，传统报表已难以满足日益增长的实时分析诉求。构建实时高效、稳定可扩展的数据同步链路，已成为许多技术团队的迫切需求。 今天，我们将分享如何快速将达梦数据实时同步
阅读全文
摘要：随着信创的加速推进，GaussDB 等国产数据库已经进入越来越多的核心业务系统。但新的问题也随之而来：数据该怎么流动？ 要做实时报表、风控模型、用户画像，甚至 AI 应用，数据需要从业务库流向分析型数据库或消息中间件。但是，稳定高效的同步工具并不好找。开源工具对国产数据库支持不足，自研方案成本高、维
阅读全文
摘要：消息中间件应用广泛，Kafka、RabbitMQ 、RocketMQ 和 Pulsar 更是其中的佼佼者，经常被放在一起比较。 从数据迁移同步行业来看，Kafka 用户占了大多数，因为在大数据生态中，其是核心组件之一。RocketMQ 在国内也比较流行，主要应用在在线业务场景，这和它的技术特性和发展
阅读全文
摘要：
在跨机房高可用、主备切换、混合云架构中，Redis 双向同步是一个常见需求。要实现数据库的双向同步，最大的挑战就是如何避免数据在两个实例之间无限循环。 本文将从问题入手，带你了解双向同步防循环方案，并介绍一种更加高效、轻量的解决方式：基于事务标记的防循环模式，最后通过一个简单的实操演示，帮你快速上手
阅读全文
在跨机房高可用、主备切换、混合云架构中，Redis 双向同步是一个常见需求。要实现数据库的双向同步，最大的挑战就是如何避免数据在两个实例之间无限循环。 本文将从问题入手，带你了解双向同步防循环方案，并介绍一种更加高效、轻量的解决方式：基于事务标记的防循环模式，最后通过一个简单的实操演示，帮你快速上手
阅读全文
摘要：
通过 CloudCanal、Paimon 与 SelectDB 的结合，在统一架构下打通数据采集、湖存储与实时分析，实现真正意义上的实时湖仓
阅读全文
通过 CloudCanal、Paimon 与 SelectDB 的结合，在统一架构下打通数据采集、湖存储与实时分析，实现真正意义上的实时湖仓
阅读全文
摘要：在大数据时代，数据湖因 灵活、低成本、存算分离 而成为主流选择，但也面临一致性、查询性能等挑战。为解决这些问题，新一代 数据湖格式 在数据文件之上引入独立元数据层，为数据湖带来了 ACID 事务 和 Schema 演进等 数据库级能力。 本文将对比当前最主流的三种开源湖格式：Iceberg、Delt
阅读全文
浙公网安备 33010602011771号