随笔分类 -  cubejs

上一页 1 2 3 4 5 6 7 8 ··· 10 下一页

基于s3 扩展cubestore
摘要:cubestore 已经设计支持基于s3的扩展方案,我们基于s3(s3兼容方案也是可以的)可以扩展我们的服务 官方参考扩展 一张参考图 基于s3的扩展 说明 对于s3兼容存储的支持目前我发起了一个pr,等待官方的合并,目前测试还不错,可以使用 参考资料 https://cube.dev/blog/i 阅读全文

posted @ 2021-05-06 21:25 荣锋亮 阅读(88) 评论(0) 推荐(0) 编辑

cube.js 预聚合检查
摘要:cube.js 的预聚合是一个很强大的功能,我们看到官方也提供了相关的sql 我们可以检查是否可以使用预聚合 参考方法 我们可以基于api 以及页面(页面也是利用了api)http://localhost:4000/cubejs-api/v1/sql?query= 参考效果 api 效果 页面 说明 阅读全文

posted @ 2021-05-05 11:47 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑

cube.js 集成cubestore 时间格式问题的一些说明
摘要:官方的建议,推荐的使用方法是rollup类型的,直接基于originalSql的存在时间类型的问题(date类型并不是所有) 参考资料 https://cube.dev/docs/pre-aggregations#rolluphttps://github.com/cube-js/cube.js/is 阅读全文

posted @ 2021-05-05 11:40 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

cube.js 集成cubestore 时间格式问题
摘要:目前cubestore 进行时间的处理是有点问题的(主要是依赖的DataFusion) 现象 参考日志 Error: Error: Internal: Error during planning: Coercion from [Utf8, Utf8] to the signature Exact([ 阅读全文

posted @ 2021-05-05 10:54 荣锋亮 阅读(107) 评论(0) 推荐(0) 编辑

支持minio cubestore docker 镜像
摘要:目前已经构建了一个支持minio的cubestore 镜像dalongrong/cubestore 参考使用 docker-compose 文件 version: "3" services: postgres: image: postgres:12.2 environment: - POSTGRES 阅读全文

posted @ 2021-05-02 01:21 荣锋亮 阅读(146) 评论(0) 推荐(0) 编辑

修改官方cubestore 支持minio s3
摘要:支持s3是cubestore 一个很不错的特性,可以提高系统的扩展性 参考修改 主要是添加endpoint 以及配置使用path格式请求 s3.rs impl S3RemoteFs { pub fn new( dir: PathBuf, region: String, endpoint:String 阅读全文

posted @ 2021-05-02 00:31 荣锋亮 阅读(135) 评论(0) 推荐(0) 编辑

cubestore 使用需要注意的一些问题
摘要:通过尝试运行cubestore 发现了一个问题,以下是一些整理 共享存储问题 如果注意查看官方文档以及docker-compose 环境会发现都是挂载了同一个数据卷,这个很重要,目前官方没说明通过实践发现这个是必须的(使用blob 存储会好些,s3.。。) 参考配置 目前官方对于共享配置提供了完整的 阅读全文

posted @ 2021-05-01 18:18 荣锋亮 阅读(154) 评论(0) 推荐(0) 编辑

cubestore 运行试用
摘要:官方提供了docker-compose 的运行模式 环境准备 docker-compose 文件 version: "3" services: cubestore_router: restart: always image: cubejs/cubestore:latest environment: 阅读全文

posted @ 2021-05-01 13:39 荣锋亮 阅读(164) 评论(0) 推荐(0) 编辑

cube.js cubestore 生产可用了
摘要:使用到的技术 parquet,apache arrow,以及datafusion 参考机制 参考使用模式 传统 基于cubestore 存储模式 支持本地存储以及云模式(s3.。。) 工作机制 一个router 处理请求,管理数据库的元数据构建查询计划以及调度执行 多个worker节并行进行数据预热 阅读全文

posted @ 2021-05-01 11:00 荣锋亮 阅读(134) 评论(0) 推荐(0) 编辑

使用map 解决cube.js 默认title 显示的问题
摘要:默认cube client sdk 提供了比较完整的处理展示,但是因为titile 比较长,或者就不是我们应该显示的,造成一些问题 参考解决方法 使用map 进行以下数据转换就可以了 const columns = resultSet.tableColumns().map((item)=>{ ret 阅读全文

posted @ 2021-04-28 22:29 荣锋亮 阅读(133) 评论(0) 推荐(0) 编辑

cube.js 自定义日志处理
摘要:cube.js 的日志处理部分是可以扩展的, 参考机制 const winston = require('winston'); const { loggly } = require('winston-loggly-bulk'); winston.add( new loggly({ token: 'L 阅读全文

posted @ 2021-04-26 21:15 荣锋亮 阅读(107) 评论(0) 推荐(0) 编辑

cube.js schemaVersion npm 包
摘要:为了方便使用,包装了一个npm包可以直接使用,具体代码参考连接 npm 使用 yarn add @dalongrong/cubejs-schemaversion-cache cube.js // Cube.js configuration options: https://cube.dev/docs 阅读全文

posted @ 2021-04-24 19:59 荣锋亮 阅读(80) 评论(0) 推荐(0) 编辑

开发一个cube.js schemaVersion 包装
摘要:默认dev环境schema 是不cache,所以会每次执行,生成环境是必须cache的,但是cache就有schemaversion 的问题 所以基于cache-manager 包装了一个cache处理的,代码很简单,但是可以减少对于schemaversion的时间消耗 参考包装代码 schemav 阅读全文

posted @ 2021-04-24 19:29 荣锋亮 阅读(107) 评论(0) 推荐(0) 编辑

cube.js 多租户参考设计说明
摘要:下图是参考官方文档以及源码,整理的一个简单的说明,可以参考 参考图 阅读全文

posted @ 2021-04-24 14:06 荣锋亮 阅读(111) 评论(0) 推荐(0) 编辑

cube.js 调度&&查询队参考参数
摘要:参考参数 packages/cubejs-query-orchestrator/src/orchestrator/QueryQueue.js 构造函数 constructor(redisQueuePrefix, options) { this.redisQueuePrefix = redisQueu 阅读全文

posted @ 2021-04-22 20:18 荣锋亮 阅读(154) 评论(0) 推荐(0) 编辑

cube.js 自定义首页显示信息
摘要:实际上是一个简单的问题,就是依赖了initApp 参数 参考使用 index.js module.exports = function(app){ if(process.env.NODE_ENV=="production"){ app.get("/",function(req,res){ res.s 阅读全文

posted @ 2021-04-22 20:12 荣锋亮 阅读(116) 评论(0) 推荐(0) 编辑

cube.js data-blending一些说明
摘要:cube.js 的data-blending 理论上是可以支持多种查询的的聚合的,但是因为目前有一些限制,使用起来不是很方便 参考代码 gateway.ts 文件 async getNormalizedQueries(query, context) { query = this.parseQuery 阅读全文

posted @ 2021-04-20 23:48 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑

cube.js 新版本的一些特性
摘要:最近版本(0.26.100)包含一个很不错的特性支持在checkAuth进行自定义异常以及状态码的返回处理 自定义状态码参考使用 const {CubejsHandlerError} = require("@cubejs-backend/api-gateway") module.exports = 阅读全文

posted @ 2021-04-20 20:01 荣锋亮 阅读(111) 评论(0) 推荐(0) 编辑

cube.js TimeoutError: ResourceRequest timed out 问题参考解决方法
摘要:查看最近官方提交了一个pr进行了此问题的修复(这个问题官方提交了两个pr) 参考pr https://github.com/cube-js/cube.js/pull/2576 https://github.com/cube-js/cube.js/pull/2575 核心解决说明 主要是2576 这个 阅读全文

posted @ 2021-04-20 09:43 荣锋亮 阅读(181) 评论(0) 推荐(0) 编辑

使用k6 压测cube.js 请求接口
摘要:参考js 脚本 app.js // Creator: WebInspector 537.36 import { sleep, group,check } from "k6"; import http from "k6/http"; export const options = { vus: 2000 阅读全文

posted @ 2021-04-18 18:36 荣锋亮 阅读(298) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 ··· 10 下一页

导航