岚天逸见

2023年5月10日 #

hudi的bucket.index相关配置

摘要： hudi的bucket.index相关配置的源码文件为 HoodieIndexConfig.java 。 通用配置 |配置项名|默认值|说明|引入版本| |:-|:-|:-|:-| |hoodie.index.type|默认值和引擎有关，Flink上默认值为FLINK_STATE，Spark上默认值 阅读全文

posted @ 2023-05-10 11:17 岚天逸见 阅读(211) 评论(0) 推荐(0) 编辑

Hudi的Index类型

摘要： Hudi 的索引是 hoodiekey 到文件组（File Group）或者文件 ID（File ID）的映射，hoodiekey 由 recordkey 和 partitionpath 两部分组成。 定义在文件 HoodieIndex.java 中。 分一下几种： |类型|说明| |:-|:-| 阅读全文

posted @ 2023-05-10 11:16 岚天逸见 阅读(115) 评论(0) 推荐(0) 编辑

Hudi的precombine.field释疑

摘要： 从不同资料，可看到四个让人迷惑的 precombine.field 配置项： precombine.field write.precombine.field hoodie.table.precombine.field hoodie.datasource.write.precombine.field 阅读全文

posted @ 2023-05-10 09:44 岚天逸见 阅读(246) 评论(0) 推荐(0) 编辑

导航