dremio 文件夹数据分区

使用场景

基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作

参考图

 

 

查询

因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作

说明

当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一样的，我们基于通用的格式进行数据处理

参考资料

https://docs.dremio.com/data-sources/files-and-directories/