随笔分类 -  cubejs

上一页 1 2 3 4 5 6 7 ··· 10 下一页

cube.js 一些未来计划开发的新特性
摘要:内容来自官方博客(cubhe,js a 轮了。。。) 参考新的架构 从此图可以看出,主要是关于bi 工具以及自动处理 说明 从官方博客的介绍,cube 的发展还是很不错的,而且官方也会投入更多的人在cube 的开发中,比较期待bi connector 的支持(也比较好支持,因为cube包含的sche 阅读全文

posted @ 2021-07-19 23:16 荣锋亮 阅读(91) 评论(0) 推荐(0) 编辑

cube.js prometheus 监控
摘要:这个问题是slack 中有人问到的,同时也是社区提的比较多的,基于prometheus 的监控方案是一个很不错的选择 因为cube.js 是基于express 开发的,同时官方也提供了插件扩展点的方法,我们可以直接使用现成的prometheus express 扩展 参考配置 prometheus 阅读全文

posted @ 2021-07-16 20:20 荣锋亮 阅读(221) 评论(0) 推荐(0) 编辑

cube.js 新版本playground 特性
摘要:新版本playground 支持了一个很不错的特性,就是可以进行rollup 的设计(进行预聚合的判断处理) 参考界面 说明 基于rollup 设计器我们可以进行一些灵活的控制,比如结合编辑能力方便的进行schema 的调整,进行数据加速处理 参考资料 https://github.com/cube 阅读全文

posted @ 2021-07-13 22:23 荣锋亮 阅读(97) 评论(0) 推荐(0) 编辑

cube.js 性能优化
摘要:核心是利用了clinicjs 进行分析 流程 安装clinicjs npm install -g clinic 修改启动模式修改 注意处理我们使用渐进的模式进行分析先doctor,然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文

posted @ 2021-07-12 20:12 荣锋亮 阅读(270) 评论(0) 推荐(0) 编辑

cube.js 官方关于cube store 的一些实践说明
摘要:默认cube store 使用模式 问题: 如果数据大于100k问题就很明显了 批处理模式 cube.js 会发送压缩的csv 文件到cube store,(同时也包含了stream模式),目前支持包含的有redshift,bigquery,mysql,postgres 导出数据到云存储 基于buc 阅读全文

posted @ 2021-07-01 21:16 荣锋亮 阅读(248) 评论(0) 推荐(0) 编辑

cube.js 0.27.31 一些新特性
摘要:今天cube.js 发布了0.27.31 版本,提供了以下特性 变动 playground 支持query tab,方便使用queryTransformer 变动为了 queryRewrite(目前兼容)这个名称看着更加合理了预聚合推荐处理(尤其是大量数据加载的时候)这个目前cubestore 还是 阅读全文

posted @ 2021-06-11 22:34 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

cube.js 最新playground 说明
摘要:最新版本的playground 添加了支持having 分组处理,实际上以前也是支持的,只是界面没有,先版本的直接包含了,我们可以直接使用 说明 官方目前也在进行一个新版本playground 的开发(内部调研)估计很快也会发布了,新版本的界面以及效果很完善了 参考资料 https://github 阅读全文

posted @ 2021-05-29 11:04 荣锋亮 阅读(71) 评论(0) 推荐(0) 编辑

cube.js + dorisdb进行数据服务开发
摘要:以下是关于cube.js 与dorisdb 集成的一些参考玩法,通过测试还是很不错的 dorisdb 参考图 数据集成模式 参考集成 参考使用图 cube.js 配置 # Cube.js environment variables: https://cube.dev/docs/reference/e 阅读全文

posted @ 2021-05-25 19:47 荣锋亮 阅读(365) 评论(0) 推荐(0) 编辑

cube.js api header 参数传递
摘要:日常基于自定义header 进行一些控制是一个比较常见的需求,cube.js 的playground 可能没有此功能,但是cube.js client sdk 支持 实际上自己进行api 请求,包含header 也是可以的,就是普通的header处理 使用方法 header 处理 可以在cube.j 阅读全文

posted @ 2021-05-24 22:57 荣锋亮 阅读(134) 评论(0) 推荐(0) 编辑

cube.js s3 filerepository 支持特定租户npm schema 加载
摘要:场景很简单,实际我们多租户的场景,数据是需要拆分开的,如果就有npm进行schema 的发布管理会存在不同项目,或者不同租户级别的 schema是不同的 使用参考图 简单原理 因为s3 filerepository 是基于s3 的bucket 以及prefix 区分的,我们可以基于参考的配置参数解决 阅读全文

posted @ 2021-05-23 17:15 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑

cube.js 最新版本一些变动
摘要:最近几次cube.js 的变动还是提供了比较多的特性的,一些是一个简单的整理 特性 playground 支持分组操作 cubestore 更新依赖的datafusion(支持更多的特性) 以及处理了import 完成之后才能执行查询 添加配置检查(严模式) bug 修复 外部预聚合的时候优化了数据 阅读全文

posted @ 2021-05-19 23:10 荣锋亮 阅读(148) 评论(0) 推荐(0) 编辑

cube.js 响应内容压缩
摘要:安装依赖 yarn add node-zopfli-es iltorb shrink-ray-current 配置cube.js 定义一个通用的模块 index.js const shrinkRay = require('shrink-ray-current'); module.exports = 阅读全文

posted @ 2021-05-18 12:56 荣锋亮 阅读(92) 评论(0) 推荐(0) 编辑

cube.js schema 存储的几种推荐模式说明
摘要:参考图 推荐说明 优先推荐git,官方的cloud 也是git(应该基于git api,同时也可以方便的管理version,基于git branch 的commitid。。。) s3 方便集中式存储(同时合理的也可以利用s3的多版本机制,最好结合元数据描述处理版本以及文件关联) 基于local fs 阅读全文

posted @ 2021-05-16 23:55 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑

使用jinja 模板引擎生成cube.js schema 文件
摘要:实际我们进行cube.js 的集成schema 是一个比较重要的东西,官方的playground 是提供了 一个自己的脚手架,但是基于代码集成就需要我们自己搞定了(比如java),解决方法很简单 我们可以基于模板引擎,以下是基于jinja模板引擎的demo(java 版本的工具) 项目准备 pom. 阅读全文

posted @ 2021-05-15 19:21 荣锋亮 阅读(182) 评论(0) 推荐(0) 编辑

cube.js 严模式校验cube.js 文件
摘要:在最近cube.js 的发布版本中官方开启了严格的cube.js 检查,是好事,同时也是不好的事情因为0.27.11 发布的版本因为一些校验没添加上,造成了自定义驱动的问题,目前官方已经修复了 参考资料 https://github.com/cube-js/cube.js/releases/tag/ 阅读全文

posted @ 2021-05-14 23:29 荣锋亮 阅读(76) 评论(0) 推荐(0) 编辑

cube.js预聚合对于大数据量处理的问题
摘要:cube.js 的预聚合是一个很不错的功能,但是目前是有一些问题的,比如我们包含了大量的数据(几十完,上百万) 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理(比如cubestore支持csv格式的) 基于stream模式的数据处理(目前官方也比较推荐的模式) 一些说明 目前方案都不太好, 阅读全文

posted @ 2021-05-14 23:06 荣锋亮 阅读(205) 评论(0) 推荐(0) 编辑

cubestore 配置
摘要:以下是官方关于cubestore 配置的说明,我们可以用来参考部署集群(router以及woker) 参考配置 参考资料 https://cube.dev/docs/caching/running-in-productionhttps://cube.dev/docs/reference/enviro 阅读全文

posted @ 2021-05-10 22:01 荣锋亮 阅读(199) 评论(0) 推荐(0) 编辑

构建自己的cube.js playground
摘要:cube.js 的playground 是可以修改的(开源,自定义),但是因为有依赖,所以很多时候直接使用是不行的 解决方法 使用npm 的shrinkwrap进行依赖的改写 使用yarn 具体与npm 类似 自己编译一个版本,使用私服进行替换 自己编译playground 添加一个自己的静态web 阅读全文

posted @ 2021-05-09 11:19 荣锋亮 阅读(210) 评论(0) 推荐(0) 编辑

cubestore driver 添加auth认证
摘要:昨天有说明关于mysql协议支持auth的,今天说明下driver支持auth 的方法(已经支持了,只是代码处理需要调整下) cubestore 源码修改 添加auth支持 基于环境变量进行是否进行auth支持的判断 CUBESTORE_AUTH_ENABLE=1 使用,默认没有配置的就不使用 #[ 阅读全文

posted @ 2021-05-07 23:13 荣锋亮 阅读(96) 评论(0) 推荐(0) 编辑

cubestore 添加auth 认证
摘要:实际上官方支持auth 的认证的,只是模式为None,我们可以自定义自己的一个auth,以下主要说明下关于mysql 协议的,因为特殊性 http 走的是websocket(后期添加) 参考修改的代码 auth #[async_trait] impl SqlAuthService for SqlAu 阅读全文

posted @ 2021-05-06 22:51 荣锋亮 阅读(91) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 ··· 10 下一页

导航