摘要：
阅读全文
摘要：
1.from2.join on 或 lateral view explode(需炸裂的列) tbl as 炸裂后的列名3.where4.group by （开始使用select中的别名，从group 开始往后都可用）5.聚合函数 如Sum() avg() count(1)等6.having7.sel 阅读全文
摘要：
1.watermark Flink对于乱序数据怎么办呢？ 方案就是 watermark。 watermark，直译为水位线，就是元素可以迟到多久才去关闭窗口。例如一个窗口是[0-5),，watermark允许最多延迟3s（指的是watermark参数是3s），那么一个6s的事件，它的watermar 阅读全文
摘要：
假设我们的表是存储在 Hive 的 MetaStore 里面的，表名为 iteblog，并且数据的组织结构如上如所示。 1.查询最新快照的数据 •通过数据库名和表名，从 Hive 的 MetaStore 里面拿到表的信息。从表的属性里面其实可以拿到 metadata_location 属性，通过这个 阅读全文
摘要：
在上一篇文章中我们主要讲解了iceberg各个元数据文件中的数据组织形式，那么这些元数据是怎么生成的呢？如何通过spark写入iceberg？本文将带大家简单了解一下使用spark 2.4.7 batch写入iceberg的整体流程。 spark写入示例 本文主要演示如何使用iceberg hado 阅读全文