cube.js 官方关于cube store 的一些实践说明
默认cube store 使用模式
问题: 如果数据大于100k问题就很明显了
批处理模式
cube.js 会发送压缩的csv 文件到cube store,(同时也包含了stream模式),目前支持包含的有redshift,bigquery,mysql,postgres
导出数据到云存储
基于bucket 数据存储的模式,数据先到云存储,然后cube store 加载,之后查询,如果仔细观察会发现是基于特定api 的(unload query)
同时对于云存储模式,需要配置数据清理策略,不然数据可能会特别多,当前cube.js 并不管理这些数据,一般推荐的是一天,目前支持的大部分是
云端的数据库
说明
基于官方对于预聚合以及cube store 的说明,我们可以清晰的了解使用模式,以及可选的策略,同时也便于我们进行源码阅读