kedro IncrementalDataset 简单说明
摘要:
IncrementalDataset 实现了一种增量数据处理的能力,基于了PartitionedDataset 同时包含了checkpoint 确保数据处理的准确性,对于 checkpoint 可以配置自己的函数 参考定义 参考catalog 定义 my_partitioned_dataset: t 阅读全文
posted @ 2024-10-01 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑