摘要：
Hudi索引在数据读和写的过程中都有应用。读的过程主要是查询引擎利用MetaDataTable使用索引进行Data Skipping以提高查找速度;写的过程主要应用在upsert写上，即利用索引查找该纪录是新增（I）还是更新(U)，以提高写入过程中纪录的打标（tag）速度。 MetaDataTabl 阅读全文
摘要：
背景 在 Apache Hudi支持完整的Schema演变的方案中（https://mp.weixin.qq.com/s/rSW864o2YEbHw6oQ4Lsq0Q）， 读取方面，只完成了SQL on Spark的支持（Spark3以上，用于离线分析场景），Presto（用于在线OLAP场景）及A 阅读全文
摘要：
你曾经是否有构建一个开源数据湖来存储数据以进行分析需求？ 数据湖包括哪些组件和功能？ 不了解 Lakehouse 和 数据仓库 之间的区别？ 或者只是想管理数百到数千个文件并拥有更多类似数据库的功能但不知道如何操作？ 本文解释了数据湖的细节以及哪些技术可以构建一个Lakehouse，以避免创建没有结 阅读全文
摘要：
1.场景需求 在医疗场景下，涉及到的业务库有几十个，可能有上万张表要做实时入湖，其中还有某些库的表结构修改操作是通过业务人员在网页手工实现，自由度较高，导致整体上存在非常多的新增列，删除列，改列名的情况。由于Apache Hudi 0.9.0 版本到 0.11.0 版本之间只支持有限的schema变 阅读全文
摘要：
背景 湖仓一体（LakeHouse）是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素，是当下大数据领域的重要发展方向。 华为云早在2020年就开始着手相关技术的预研，并落地在华为云 FusionInsight MRS智能数据湖解决方案中。 目前主流的三大数据湖组件 Apache Hudi、I 阅读全文
摘要：
了解使用开源技术构建现代数据栈的详细指南。 在过去的几年里，数据工程领域的重要性突飞猛进，为加速创新和进步打开了大门——从今天开始，越来越多的人开始思考数据资源以及如何更好地利用它们。这一进步反过来又导致了数据技术的“第三次浪潮”。 “第一次浪潮”包括 ETL、OLAP 和关系数据仓库，它们是商业智 阅读全文
摘要：
数据是当今分析世界的宝贵资产。 在向最终用户提供数据时，跟踪数据在一段时间内的变化非常重要。 渐变维度 (SCD) 是随时间推移存储和管理当前和历史数据的维度。 在 SCD 的类型中，我们将特别关注类型 2（SCD 2），它保留了值的完整历史。 每条记录都包含有效时间和到期时间，以标识记录处于活动状 阅读全文
摘要：
认识Lakehouse 数据仓库被认为是对结构化数据执行分析的标准，但它不能处理非结构化数据。 包括诸如文本、图像、音频、视频和其他格式的信息。 此外机器学习和人工智能在业务的各个方面变得越来越普遍，它们需要访问数据仓库之外的大量信息。 开放的Lakehouse 云计算发展引发了计算与存储分离，这利 阅读全文
摘要：
近年来出现了从单体架构向微服务架构的转变。微服务架构使应用程序更容易扩展和更快地开发，支持创新并加快新功能上线时间。但是这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的见解，企业应该将来自不同孤岛的所有数据集中到一个地方。 AWS 提供复制工具，例如 AWS D 阅读全文
摘要：
本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。 我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。 在深入了解细节之前，让我们先澄清一下本博客中使用的一些术语。 什么是 Apache Hudi？ Apac 阅读全文
摘要：
为了有机地发展业务，每个组织都在迅速采用分析。 在分析过程的帮助下，产品团队正在接收来自用户的反馈，并能够以更快的速度交付新功能。 通过分析提供的对用户的更深入了解，营销团队能够调整他们的活动以针对特定受众。 只有当我们能够大规模提供分析时，这一切才有可能。 对数据湖的需求 在 NoBrokerco 阅读全文
摘要：
1. 介绍 最近几周，人们对比较 Hudi、Delta 和 Iceberg 的表现越来越感兴趣。 我们认为社区应该得到更透明和可重复的分析。 我们想就如何执行和呈现这些基准、它们带来什么价值以及我们应该如何解释它们添加我们的观点。 2. 现有方法存在哪些问题？ 最近 Databeans 发布了一篇博 阅读全文
摘要：
Schema Evolution（模式演进）允许用户轻松更改 Hudi 表的当前模式，以适应随时间变化的数据。 从 0.11.0 版本开始，支持 Spark SQL（spark3.1.x 和 spark3.2.1）对 Schema 演进的 DDL 支持并且标志为实验性的。 场景 可以添加、删除、修改 阅读全文
摘要：
介绍 在 Hudi 0.10 中，我们引入了对高级数据布局优化技术的支持，例如 Z-order和希尔伯特空间填充曲线（作为新的聚类算法），即使在经常使用过滤器查询大表的复杂场景中，也可以在多个列而非单个列上进行数据跳过。 但实际上什么是Data Skipping数据跳过？ 随着存储在数据湖中的数据规 阅读全文
摘要：
在我们之前的文章中，我们讨论了多模式索引的设计，这是一种用于Lakehouse架构的无服务器和高性能索引子系统，以提高查询和写入性能。在这篇博客中，我们讨论了构建如此强大的索引所需的机制，异步索引机制的设计，类似于 PostgreSQL 和 MySQL 等流行的数据库系统，它支持索引构建而不会阻塞写 阅读全文
摘要：
与许多其他事务数据系统一样，索引一直是 Apache Hudi 不可或缺的一部分，并且与普通表格式抽象不同。 在这篇博客中，我们讨论了我们如何重新构想索引并在 Apache Hudi 0.11.0 版本中构建新的多模式索引，这是用于 Lakehouse 架构的首创高性能索引子系统，以优化查询和写入事 阅读全文
摘要：
Halodoc 数据工程已经从传统的数据平台 1.0 发展到使用 LakeHouse 架构的现代数据平台 2.0 的改造。在我们之前的博客中，我们提到了我们如何在 Halodoc 实施 Lakehouse 架构来服务于大规模的分析工作负载。 我们提到了平台 2.0 构建过程中的设计注意事项、最佳实践 阅读全文
摘要：
1. 摘要 在 Halodoc，我们始终致力于为最终用户简化医疗保健服务，随着公司的发展，我们不断构建和提供新功能。 我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。 在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架 阅读全文
摘要：
1. 摘要 数据平台已经彻底改变了公司存储、分析和使用数据的方式——但为了更有效地使用它们，它们需要可靠、高性能和透明。数据在制定业务决策和评估产品或 Halodoc 功能的性能方面发挥着重要作用。作为印度尼西亚最大的在线医疗保健公司的数据工程师，我们面临的主要挑战之一是在整个组织内实现数据民主化。 阅读全文
摘要：
1. 业务背景介绍 客路旅行（KLOOK）是一家专注于境外目的地旅游资源整合的在线旅行平台，提供景点门票、一日游、特色体验、当地交通与美食预订服务。覆盖全球100个国家及地区，支持12种语言和41种货币的支付系统,与超过10000家商户合作伙伴紧密合作，为全球旅行者提供10万多种旅行体验预订服务。 阅读全文
摘要：
1. 摘要 数据是每项技术业务的支柱，作为一个健康医疗技术平台，Halodoc 更是如此，用户可以通过以下方式与 Halodoc 交互： 送药 与医生交谈 实验室测试 医院预约和药物 所有这些交互都会产生高度敏感、多样化且通常是非结构化的数据。 因此随着公司的成长，必须拥有一个强大的数据平台，平台需 阅读全文
摘要：
1. 现状说明 1.1 数据湖摄取和计算过程 - 处理更新 在我们的用例中1-10% 是对历史记录的更新。当记录更新时，我们需要从之前的 updated_date 分区中删除之前的条目，并将条目添加到最新的分区中，在没有删除和更新功能的情况下，我们必须重新读取整个历史表分区 → 去重数据 → 用新的 阅读全文
摘要：
1. 摘要 在本博客中，我们将讨论在构建流数据平台时如何利用 Hudi 的两个最令人难以置信的能力。 增量消费--每 30 分钟处理一次数据，并在我们的组织内构建每小时级别的OLAP平台 事件流的无限回放--利用 Hudi 的提交时间线在超级便宜的云对象存储（如 AWS S3）中存储 10 天的事件 阅读全文
摘要：
自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分 阅读全文
摘要：
基础介绍 Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是： Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记 阅读全文