随笔分类 -  Hudi

摘要:使用flink来读写hudi有2种API,一个是Flink SQL API,另一个是DataStream API,参考 https://hudi.apache.org/cn/docs/flink-quick-start-guide 1.Flink SQL API 首先启动yarn session / 阅读全文
posted @ 2018-09-25 16:31 tonglin0325 阅读(374) 评论(0) 推荐(0) 编辑
摘要:1.使用Flink SQL 如果使用的是flink sql的话,如果想要同步表到hive metastore的话,只需要在flink sql的建表语句中添加 hive_sync 相关的一些配置即可,如下 'hive_sync.enable' = 'true', 'hive_sync.mode' = 阅读全文
posted @ 2016-03-26 16:19 tonglin0325 阅读(433) 评论(0) 推荐(0) 编辑
摘要:在 Amazon EMR 版本 5.28.0 及更高版本中, Amazon EMR 默认情况下会在安装 Spark、Hive 或 Presto 时安装 Hudi 组件。 参考:创建安装了 Hudi 的集群 Amazon EMR的版本和hudi的版本对应可以参考文档:Hudi 发行版历史记录 可以使用 阅读全文
posted @ 2016-03-17 16:25 tonglin0325 阅读(558) 评论(0) 推荐(0) 编辑
摘要:1.Hudi概念 参考: 英文官方文档:https://hudi.apache.org/docs/concepts/ 中文官方文档:https://hudi.apache.org/cn/docs/0.9.0/concepts/ Apache Hudi架构设计和基本概念 1.Hudi表的存储类型 hu 阅读全文
posted @ 2016-03-16 23:20 tonglin0325 阅读(484) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示