dremio cloud 分层datasets 实践

内容来自官方文档,主要是一种玩法

流程

  • 底层或者第一层,主要包含物理数据集
  • 第二层是虚拟数据集,属于一个基于上层进行了简单的数据加工处理(类型转换,字段重明),同时提供一些安全控制
  • 第三层,用户进行数据的join 以及其他昂贵操作,此层属于数据密集操作,一般会包含数据反射的添加(原始反射以及聚合反射)
  • 第四层,主要是帮助用户创建轻量级的虚拟数据集方便dashboard,resport 以及可视化工具,可以使用聚合反射(按需选择)

说明

dremio 官方推荐的此方法还是比较有用的,可以让我们更好的使用好dremio

参考资料

https://docs.dremio.com/cloud/data/datasets/#layering-datasets

posted on 2022-02-26 14:33  荣锋亮  阅读(52)  评论(0编辑  收藏  举报

导航