dremio 文件夹数据分区
使用场景
基于s3进行文件存储,我们使用dremio查询,同时dremio 也提供了强大的文件夹过滤操作
参考图
查询
因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作
说明
当然以上只是一种玩法,我们也可以基于时间分区,基于月份进行子分区,好处是不同月份的数据可能是不一样的,我们基于通用的格式进行数据处理
基于s3进行文件存储,我们使用dremio查询,同时dremio 也提供了强大的文件夹过滤操作
因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作
当然以上只是一种玩法,我们也可以基于时间分区,基于月份进行子分区,好处是不同月份的数据可能是不一样的,我们基于通用的格式进行数据处理
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步