摘要: 概述 如果表没有定义主键,则默认情况下它是仅追加 表类型(Append Only Table)。 根据桶(Bucket)的定义,我们有两种不同的仅追加模式:"Append For Scalable Table"和"Append For Queue";两种模式支持不同的场景,提供不同的功能。 只能向表 阅读全文
posted @ 2023-12-25 17:07 又见阿郎 阅读(741) 评论(0) 推荐(0) 编辑
摘要: 当前的问题 Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖;CDC 数据来自数据库。一般来说,分析需求是不会直接查询数据库的。 容易对业务造成影响,一般分析需求会查询全表,这可能导致数据库负载过高,影响业务 分析性能不太好,业务数据库 阅读全文
posted @ 2023-12-25 15:57 又见阿郎 阅读(762) 评论(0) 推荐(0) 编辑
摘要: 翻译自 Apache Paimon官方文档 概览 概述 Apache Paimon (incubating) 是一项流式数据湖存储技术,可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。 简单来说,Paimon的上游是各个CDC,即changlog数据流;而其自身支持实时sink与s 阅读全文
posted @ 2023-12-25 09:51 又见阿郎 阅读(3637) 评论(0) 推荐(0) 编辑