dremio cloud 分层datasets 实践

内容来自官方文档，主要是一种玩法

流程

  • 底层或者第一层，主要包含物理数据集
  • 第二层是虚拟数据集，属于一个基于上层进行了简单的数据加工处理（类型转换，字段重明），同时提供一些安全控制
  • 第三层，用户进行数据的join 以及其他昂贵操作，此层属于数据密集操作，一般会包含数据反射的添加（原始反射以及聚合反射）
  • 第四层，主要是帮助用户创建轻量级的虚拟数据集方便dashboard，resport 以及可视化工具，可以使用聚合反射（按需选择）

说明

dremio 官方推荐的此方法还是比较有用的，可以让我们更好的使用好dremio

参考资料

https://docs.dremio.com/cloud/data/datasets/#layering-datasets

posted on   荣锋亮  阅读(65)  评论(0)  编辑  收藏  举报

相关博文：
· dremio 的虚拟数据集市
· dremio 查询执行阶段简单说明
· DataWorks数据分层
· 实际应用中的数仓分层
· 数仓-数据层的具体实现
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2021-02-26 dremio 配置文件
2021-02-26 cratedb 将完全开源
2020-02-26 一些pg fdw 版本过低的一些解决方法
2020-02-26 pgspider 一些ppt 截图
2020-02-26 postgres cassandra_fdw 扩展试用
2020-02-26 使用 postgres s3 fdw + cube.js 分析 csv 数据
2019-02-26 haproxy httpcheck with basic auth

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示