随笔分类 -  cubejs

上一页 1 2 3 4 5 6 7 8 9 10 下一页

cube.js dremio driver基于补偿机制提升查询速度
摘要：默认cube.js 的dremio driver 在设计的时候，为了进行状态处理的请求使用了循环处理，同时添加了一个1s的延迟处理 原始参考代码 async query(query, values) { const queryString = applyParams( query, (values 阅读全文

posted @ 2021-04-01 20:49 荣锋亮 阅读(119) 评论(0) 推荐(0) 编辑

opendistro elasticsearch cube.js driver 开发说明
摘要：driver 的开发参考了官方elasticsearch 驱动，但是因为默认sql plugin 对于sql 函数支持的问题，部分功能是不支持的（时间函数是一个问题） 参考代码 代码结构 driver 开发说明 参考了官方的，同时集成了方言 static dialectClass() { retur 阅读全文

posted @ 2021-03-31 23:39 荣锋亮 阅读(251) 评论(0) 推荐(0) 编辑

cube.js 一些预聚合分区新特性
摘要：主要介绍cube.js 支持的一些rollup 分区特性 基于时间的 time 分区 参考 cube(`Orders`, { sql: `select * from orders`, //... preAggregations: { categoryAndDate: { type: `rollup` 阅读全文

posted @ 2021-03-27 00:04 荣锋亮 阅读(115) 评论(0) 推荐(0) 编辑

使用外部db 加速dremio 查询
摘要：官方默认的实现是基于rest api 的，尽管可以开启数据反射提升查询速度，但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显，失去了使用dremio 的价值了 基于cube.js 预聚合处理（使用外部预聚合） 基于外部预聚合的解决方 阅读全文

posted @ 2021-03-26 23:30 荣锋亮 阅读(228) 评论(0) 推荐(0) 编辑

cube.js 新版本cubestore 禁用
摘要：最近几个版本的cube.js 默认会安装cube-store ,但是会有一个问题就是cube sotre 下载比较慢，而且很多是否我们暂时用不到 禁用方法 通过环境变量 CUBESTORE_SKIP_POST_INSTALL=true 参考资料 https://github.com/cube-js/ 阅读全文

posted @ 2021-03-26 19:24 荣锋亮 阅读(140) 评论(0) 推荐(0) 编辑

开发一个cockroachdb 的cube.js 驱动
摘要：cube.js 官方有描述关于driver 开发的说明，以下是开发一个简单的cockroachdb 驱动 驱动开发说明 copy 相关项目，比如mysql 的driver 实现，命名为@cubejs-backend/-driver 不能copy changelog.md 命名驱动类以及readme. 阅读全文

posted @ 2021-02-27 22:23 荣锋亮 阅读(132) 评论(0) 推荐(0) 编辑

cube.js 最新版本的一些特性
摘要：一个特别好的特性就是security context 可以在playground 中使用了，当然dashboard 代码的自动生成也有了越来越多框架的支持了 参考效果 参考资料 https://github.com/cube-js/cube.js/releases 阅读全文

posted @ 2021-02-12 13:29 荣锋亮 阅读(103) 评论(0) 推荐(0) 编辑

dremio mongodb objectid 转换问题
摘要：dremio 默认将mongodb 的objectid 转换为varbinary，如果需要字符串格式的id，需要使用函数处理 参考函数 lower(to_hex("_id")) 参考效果 参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文

posted @ 2021-02-06 23:01 荣锋亮 阅读(291) 评论(0) 推荐(0) 编辑

cube.js 集成dremio
摘要：cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发 一个参考集成方案 简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理） 简单集成 可以基于dreami 阅读全文

posted @ 2021-02-06 20:50 荣锋亮 阅读(376) 评论(0) 推荐(0) 编辑

cube.js driver&&query&& cube schema 关系&&简单说明
摘要：从术语上应该是没有直接关系的，但是实际运行的时候彼此是有依赖的 driver 主要进行 sql 的查询处理，同时进行连接管理的处理，query 进行 sql 生成的处理（创建实际需要的sql 查询），cube schema 主要是定义 cube 的规则，query 实际上也是对于schema 抽象语 阅读全文

posted @ 2021-02-04 23:13 荣锋亮 阅读(221) 评论(0) 推荐(0) 编辑

cube.js 关于oracle 集成的说明
摘要：cube.js 是支持oracle 连接的（基于官方oracle 驱动），但是有几个问题 目前cube.js 对于数据的分页是基于了oracle 12 所以对于低版本的不是很方便 官方目前还没解决，当然可以自己修改驱动支持，目前cube.js 对于详细的query 开发暂时还没有说明文档 需要依赖o 阅读全文

posted @ 2021-02-04 23:11 荣锋亮 阅读(80) 评论(0) 推荐(0) 编辑

nodejs vm+ babel ast 实现类似cube.js schema 的处理能力
摘要：很简单主要是学习下cube.js 关于schema 的特殊处理了解下原理 以下部分代码参考了cube.js compiler 部分 参考项目 package.json { "name": "vm-scripts", "version": "1.0.0", "main": "index.js", "l 阅读全文

posted @ 2021-02-04 21:44 荣锋亮 阅读(198) 评论(0) 推荐(0) 编辑

cube.js 实现自定义驱动的方式
摘要：基本就是一个套路，开发可以参考官方的driver 需要提供的几个接口实现 BaseQuery BaseDriver 接口实现说明 BaseDriver 官方的说法是需要query 以及testConnection 同时release 也是比较重要的 同时推荐基于generic-pool 进行连接池的 阅读全文

posted @ 2021-02-03 20:47 荣锋亮 阅读(266) 评论(0) 推荐(0) 编辑

cube.js 对于sql 方言支持的处理
摘要：sql 方言主要是为了进行不通数据库sql 兼容的支持，一般我们是不需要做的，但是一些特殊情况下我们 可能需要自己开发sql 方言处理 参考方法 server 初始化 packages/cubejs-server-core/src/core/server.ts const options: Serv 阅读全文

posted @ 2021-02-03 20:23 荣锋亮 阅读(248) 评论(0) 推荐(0) 编辑

cube.js playground暴露的几个不错的功能
摘要：通过源码我们查看playground 提供的功能就会看到自己很不错的直接可以拿来使用的工具 主要代码在packages/cubejs-server-core/src/core/DevServer.ts 获取数据库schema 信息 代码如下，属于一个内部方法，可以基于driver获取数据库的sche 阅读全文

posted @ 2021-02-02 21:01 荣锋亮 阅读(188) 评论(0) 推荐(0) 编辑

cube.js 生产集成使用的几点说明
摘要：cube.js 官方已经提供了相关的生产部署说明，但是还是有点简单，有些还是我们需要关注解决 schema 存储问题 默认是基于文件系统存储的，可选的解决方法，扩展接口，支持基于s3的存储 几个问题 生产环境如何更新schema同时进行重编译，可以基于api进行控制（重启也是可以解决的。。。） 相关 阅读全文

posted @ 2021-02-02 20:48 荣锋亮 阅读(508) 评论(0) 推荐(0) 编辑

cube.js 上线文 filter 处理的原理
摘要：cube.js 支持基于上下文的filter 处理，核心是依赖了js 的proxy 参考filter 使用模式 cube(`demoapp`, { sql: ` SELECT * FROM transactions AS ts where ${SECURITY_CONTEXT.user_id.fil 阅读全文

posted @ 2021-02-02 20:46 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

cube.js 上下文实践的一些说明
摘要：cube.js 提供了比较多的上下问支持，SECRUITY_CONTEXT,COMPILE_CONTEXT,FILTER_PARAMS,SQL_UTILS 但是在使用的时候可能会有好多问题，主要是原因是cube.js 对于编译的cache 以及不同context 的声明周期不一样 SECURITY_ 阅读全文

posted @ 2021-02-01 20:53 荣锋亮 阅读(226) 评论(0) 推荐(0) 编辑

使用clinicjs 分析cube.js 的调用情况
摘要：clinicjs 是一个很强大的nodejs 性能分析工具，以下只是一个简单的说明cube.js 中如何使用 方便学习cube.js 添加index.js 基于代码启动cube.js const CubejsServer = require('@cubejs-backend/server'); co 阅读全文

posted @ 2021-01-31 21:36 荣锋亮 阅读(236) 评论(0) 推荐(0) 编辑

cube.js 最新版本的一些特性
摘要：昨天cube.js 推送了新版本的一些特新的汇总，实际上如果关注了官方issue 以及文档 应该会发现好多新特新已经很明确了，而且我以前也有简单的介绍 cubestore 新的数据预处理框架，我有介绍过，以下是官方的明确说明（当然基于基于了apache parquet,arrow ）以及rocksd 阅读全文

posted @ 2021-01-31 10:58 荣锋亮 阅读(176) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 10 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示