随笔分类 -  Hudi

摘要:1. 什么是Debezium Debezium是一个开源的分布式平台,用于捕捉变化数据(change data capture)的场景。它可以捕捉数据库中的事件变化(例如表的增、删、改等),并将其转为事件流,使得下游应用可以看到这些变化,并作出指定响应。 2. Debezium常规使用架构 根据De 阅读全文
posted @ 2021-05-24 23:58 ZacksTang 阅读(3280) 评论(1) 推荐(0) 编辑
摘要:Apache Hudi Apache Hudi 在基于 HDFS/S3 数据存储之上,提供了两种流原语: 插入更新 增量拉取 一般来说,我们会将大量数据存储到HDFS/S3,新数据增量写入,而旧数据鲜有改动,特别是在经过数据清洗,放入数据仓库的场景。而且在数据仓库如 hive中,对于update的支 阅读全文
posted @ 2019-11-22 17:39 ZacksTang 阅读(15345) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示