08 2020 档案

Apache Hudi 0.6.0版本重磅发布
摘要：1. 下载信息 源码：Apache Hudi 0.6.0 Source Release (asc, sha512) 二进制Jar包：nexus 2. 迁移指南 如果您从0.5.3以前的版本迁移至0.6.0，请仔细核对每个版本的迁移指南； 0.6.0版本从基于list的rollback策略变更为了基于 阅读全文
posted @ 2020-08-26 09:09 leesf 阅读(1045) 评论(0) 推荐(1) 编辑
详解Apache Hudi如何配置各种类型分区
摘要：1. 引入 Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。 2. 分区处理 为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下 { "type" : 阅读全文
posted @ 2020-08-18 09:48 leesf 阅读(3174) 评论(0) 推荐(0) 编辑
Apache Hudi表自动同步至阿里云数据湖分析DLA
摘要：1. 引入 Hudi 0.6.0版本之前只支持将Hudi表同步到Hive或者兼容Hive的MetaStore中，对于云上其他使用与Hive不同SQL语法MetaStore则无法支持，为解决这个问题，近期社区对原先的同步模块hudi-hive-sync进行了抽象改造，以支持将Hudi表同步到其他类型M 阅读全文
posted @ 2020-08-10 19:01 leesf 阅读(930) 评论(0) 推荐(0) 编辑
Apache Hudi + AWS S3 + Athena实战
摘要：Apache Hudi在阿里巴巴集团、EMIS Health，LinkNovate，Tathastu.AI，腾讯，Uber内使用，并且由Amazon AWS EMR和Google云平台支持，最近Amazon Athena支持了在Amazon S3上查询Apache Hudi数据集的能力，本博客将测试 阅读全文
posted @ 2020-08-03 19:25 leesf 阅读(1508) 评论(0) 推荐(0) 编辑