随笔分类 - Hudi
摘要:使用flink来读写hudi有2种API,一个是Flink SQL API,另一个是DataStream API,参考 https://hudi.apache.org/cn/docs/flink-quick-start-guide 1.Flink SQL API 首先启动yarn session /
阅读全文
摘要:1.使用Flink SQL 如果使用的是flink sql的话,如果想要同步表到hive metastore的话,只需要在flink sql的建表语句中添加 hive_sync 相关的一些配置即可,如下 'hive_sync.enable' = 'true', 'hive_sync.mode' =
阅读全文
摘要:在 Amazon EMR 版本 5.28.0 及更高版本中, Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。 参考:创建安装了 Hudi 的集群 Amazon EMR的版本和hudi的版本对应可以参考文档:Hudi 发行版历史记录 可以使用
阅读全文
摘要:1.Hudi概念 参考: 英文官方文档:https://hudi.apache.org/docs/concepts/ 中文官方文档:https://hudi.apache.org/cn/docs/0.9.0/concepts/ Apache Hudi架构设计和基本概念 1.Hudi表的存储类型 hu
阅读全文