dremio cloud 分层datasets 实践
内容来自官方文档,主要是一种玩法
流程
- 底层或者第一层,主要包含物理数据集
- 第二层是虚拟数据集,属于一个基于上层进行了简单的数据加工处理(类型转换,字段重明),同时提供一些安全控制
- 第三层,用户进行数据的join 以及其他昂贵操作,此层属于数据密集操作,一般会包含数据反射的添加(原始反射以及聚合反射)
- 第四层,主要是帮助用户创建轻量级的虚拟数据集方便dashboard,resport 以及可视化工具,可以使用聚合反射(按需选择)
说明
dremio 官方推荐的此方法还是比较有用的,可以让我们更好的使用好dremio
参考资料
https://docs.dremio.com/cloud/data/datasets/#layering-datasets