cube.js 查询格式
摘要：cube.js 提供了自己特有的数据查询模式，还是比较清晰的，包含了维度，度量，时间粒度，以及分段（segments） 查询格式 格式为 CUBEE_NAME.MEMBER_NAME 比如维度email，查询cube Users 为Users.email 对于时间的查询处理CUBE_NAME.TIM
阅读全文
posted @ 2021-01-02 22:42
随笔分类 - cubejs
cube.js data Blending
摘要：cube.js 的 data Blending，主要是解决多数据schema 数据集成（数据charts的集成）的问题 官方的解决方法还是比较简单的，核心是使用了sql 的union all 同时引用了数据schema 的sql 同时cube.js 也提供了多查询的处理，会自己进行转换处理 参考 数
阅读全文
posted @ 2021-01-01 23:18
cube.js 的rest api
摘要：cube.js 同时提供了强大的rest api 支持，默认请求地址是/cubejs-api ，当然可以通过Cube.js 修改 认证授权 cube.js api 的认证授权是基于jwt 的，同时会暴露一个USER_CONTEXT 对象给数据schema 参考请求 curl -H "Authoriz
阅读全文
posted @ 2021-01-01 22:58
cube.js cache 的处理
摘要：cube.js 对于数据的cache 处理是一个很不错的亮点，同时cube.js 支持多级cache，而且支持多种模式的cache in-memory，redus，以及预聚合处理还有就是外部预聚合存储，同时cube.js 也提供了比较完备的cache 刷新策略 配置 一张参考预聚合处理图 当然以前也
阅读全文
posted @ 2021-01-01 22:57
cube.js 多租户支持
摘要：cube.js 对于多租户的支持是比较丰富的，提供了db，schema 上的支持，同时提供了灵活的driverFactory，以及dbType 支持 支持的配置选项 contextToAppId dbType externalDbType driverFactory repositoryFactor
阅读全文
posted @ 2021-01-01 22:56
cube.js 认证以及授权
摘要：cube.js 的认证以及授权是基于security context 的，以下是参考图 简单说明 cube.js 是基于jwt token 处理的，同时关于用户的信息是在存储在u 中的，同时可以通过USER_CONTEXT 访问 同时authInfo 变量可以在多租户中方便的使用 参考u 信息 {
阅读全文
posted @ 2021-01-01 22:21
cube.js的多数据源试用
摘要：cube.js 几个比较核心的是schema 以及driver，driver 是cube.js 开发好的，schema是定义了数据操作的处理 默认cube.js 是基于配置进行数据管理的（dotenv）对于多数据源我们可以基于cube.js 进行支持，同时在schema 的定义中指定datasour
阅读全文
posted @ 2021-01-01 20:55
cube.js 新的预聚合层
摘要：cube.js 目前扩展了原有pre-aggregation 处理层，基于rust 自己搞了一层新的存储处理，目前还没有ga 但是功能很不错，看到的是cube.js 团队打算自己基于rust 实现一个通用的底层基于apache arrow 的数据 格式处理，以前来说cube.js包含两类聚合处理内部
阅读全文
posted @ 2020-12-30 21:05
cube.js 生产部署简单说明
摘要：内容参考来自官方文档 参考说明 禁用dev 模式 CUBEJS_DEV_MODE=false 配置redis cube.js 需要redis用来加速数据的访问（cache 以及queue） 相关配置 REDIS_URL 连接redis 的配置，REDIS_PASSWORD 设置密码，REDIS_TL
阅读全文
posted @ 2020-12-01 09:38
cube.js 官方docker镜像发布
摘要：最近的cube.js 官方发布了docker 镜像，基于alpine，而且官方也比较推荐使用docker 运行，这样 可以进行服务的隔离 参考使用 .env 主要是进行db配置的，具体结合自己的实际配置，参数说明，参考官方文档 cube.js // Cube.js configuration opt
阅读全文
posted @ 2020-12-01 09:21
cube.js 最近的一些新功能
摘要：cube.js 的发展是特别的好，社区以及新功能也是迭代很快的，以下是一些简单的关于cube.js 的一些新特性说明（内容来自cube.js 的官方邮件） 布尔逻辑操作 支持or and 的操作了，增强了数据过滤的处理 参考格式 { or: [ { member: 'visitors.source'
阅读全文
posted @ 2020-11-04 13:02
基于pgspider+ postgres fdw+ cube.js+hasura graphql-engine的数据分析&&展示方案
摘要：当前企业的数据分析需求是越来越多，同时需要自助以及灵活性也越来越多，我们急需灵活同时支持多数据源快速 集成查询，以及快速可视化报表的处理，以下是集合自己的一些了解以及学习，梳理一个简单的数据分析以及数据 展示方案 整体参考架构设计 各层说明 data mesh 层 主要是使用多种pg fdw 进行数
阅读全文
posted @ 2020-03-05 20:37
cube.js 集成citus pg 扩展实现多租户的数据分析
摘要：citus 是一个强大的pg 扩展，我们可以方便的用来开发多租户的应用，同时cube.js 支持对于多租户的数据分析 cube.js 连接citus 这个不变，就是普通的pg 连接配置 cube.js 对于多租户的处理 我们可以通过添加查询转换处理，代码如下 比较适合schema 相同的数据模型 对
阅读全文
posted @ 2020-03-05 19:57
使用 postgres s3 fdw + cube.js 分析 csv 数据
摘要：昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的，今天简单试用下 环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: -
阅读全文
posted @ 2020-02-26 11:37
cube.js 集成s3 的一种方法
摘要：同集成es 的问题一样，使用postgres s3 fdw 将s3的数据暴露为sql 可操作的数据，后边就是对于pg 的数据分析了 参考资料 https://github.com/rongfengliang/pg-s3-fdw-learning https://www.cnblogs.com/ron
阅读全文
posted @ 2020-02-25 19:48
cube.js 集成 elasticsearch 的一种变通方法
摘要：前边有介绍过cube.js 对于es 的支持（以及关于opendistro elasticsearch的bug）实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题，对于需要的分析都可以通过pg 的fdw 操作解决 环境准备 docker-compose 文
阅读全文
posted @ 2020-02-25 09:35
cube.js 集成opendistro elasticsearch bug 的原因说明
摘要：通过直接调用elasticsearch 的nodejs sdk 发现问题的原因是opendistro sql 扩展对于sql 的支持与elasticsearch 官方的有差异，主要是数据返回格式上，看看是否有兼容的方案
阅读全文
posted @ 2020-02-19 11:27
cube.js opendistro elasticsearch 试用以及几个bug
摘要：前边有说明，cube.js 已经es 以下是通过opendistro的一个简单的试用（没跑通，后边有时间可以尝试下找下原因） opendistro 环境准备 docker-compose 文件 注意es 版本，目前cube.js 是7.6 的es npm 包，所以最好是兼容的,因为部分版本还是有兼容
阅读全文
posted @ 2020-02-19 10:46
cube.js 支持 elasticsearch
摘要：cube.js 已经支持es 的分析了， 原理是基于sql，因为cube.js 的核心就是基于sql 的处理，所以只要是能基于sql 的处理，基本上基于cube.js 都是可以扩展的，大概看了下，官方是通过elasticsearch 的sql api 支持的，同时对于amazon 的opendist
阅读全文
posted @ 2020-02-18 22:38
cube.js schema 学习二
摘要：cube.js 从那发布，到现在也已经有了很大的变动了，比如多租户，多数据源的支持，同时schema 也有了好多新的 类型支持，以下是基于新版本的一个学习 通用格式参考 cube(`Users`, { sql: `select * from users`, joins: { Organizati
阅读全文
posted @ 2020-02-18 21:58
