2022年4月23日
Apache Hudi 如何加速传统的批处理模式？
摘要： 1. 现状说明 1.1 数据湖摄取和计算过程 - 处理更新 在我们的用例中1-10% 是对历史记录的更新。当记录更新时，我们需要从之前的 updated_date 分区中删除之前的条目，并将条目添加到最新的分区中，在没有删除和更新功能的情况下，我们必须重新读取整个历史表分区 → 去重数据 → 用新的 阅读全文
posted @ 2022-04-23 06:24 leesf 阅读(388) 评论(0) 推荐(0) 编辑