摘要: 一、Amoro介绍 2024 年 3 月 11 日,Amoro 项目顺利通过投票,正式进入 Apache 软件基金会(ASF,Apache Software Foundation)的孵化器,成为 ASF 的一个孵化项目。 Amoro 是建立在开放数据湖表格式之上的湖仓管理系统。2020 年开始, 网 阅读全文
posted @ 2024-08-02 17:55 黑水滴 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 一、背景 用户查询iceberg表时报文件为空,因为存在写入和治理程序同时操作iceberg表,需要查看空文件是哪个快照产生的,方便确定是flink写入缺陷还是spark治理缺陷 二、通过Sql查询文件所属哪个快照(推荐查询方式) 查询表的文件信息,根据data_file列信息筛选是哪个快照写入,s 阅读全文
posted @ 2024-08-02 16:48 黑水滴 阅读(4) 评论(0) 推荐(0) 编辑