荣锋亮 - 博客园

cube.js 上线文 filter 处理的原理

摘要： cube.js 支持基于上下文的filter 处理，核心是依赖了js 的proxy 参考filter 使用模式 cube(`demoapp`, { sql: ` SELECT * FROM transactions AS ts where ${SECURITY_CONTEXT.user_id.fil 阅读全文

posted @ 2021-02-02 20:46 荣锋亮阅读(189) 评论(0) 推荐(0) 编辑

cube.js 上下文实践的一些说明

摘要： cube.js 提供了比较多的上下问支持，SECRUITY_CONTEXT,COMPILE_CONTEXT,FILTER_PARAMS,SQL_UTILS 但是在使用的时候可能会有好多问题，主要是原因是cube.js 对于编译的cache 以及不同context 的声明周期不一样 SECURITY_ 阅读全文

posted @ 2021-02-01 20:53 荣锋亮阅读(202) 评论(0) 推荐(0) 编辑

使用clinicjs 分析cube.js 的调用情况

摘要： clinicjs 是一个很强大的nodejs 性能分析工具，以下只是一个简单的说明cube.js 中如何使用方便学习cube.js 添加index.js 基于代码启动cube.js const CubejsServer = require('@cubejs-backend/server'); co 阅读全文

posted @ 2021-01-31 21:36 荣锋亮阅读(229) 评论(0) 推荐(0) 编辑

sitespeed.io 开源web 性能监控&&优化工具集

摘要： sitespeed.io 提供了好多web 监控&&优化的工具，是一个很不错的工具集 sitespeed.io 包含了好多方便的工具，比如har 文件处理的，网络模拟的（chaos 工程）说明如果需要进行web性能分析，但是缺少工具sitespeed.io 是一个很不错的选择参考资料 http 阅读全文

posted @ 2021-01-31 11:37 荣锋亮阅读(252) 评论(0) 推荐(0) 编辑

sideway/joi js 强大的data schma 校验框架

摘要：数据校验处理在实际中是一个很重要的东西，类似的框架也比较多，同时也包含了好多规范指南（json schema，xml schema。。。。），joi 是一个比较强大的js 对于校验框架，使用简单，支持特新丰富参考使用 const Joi = require('joi'); const sc 阅读全文

posted @ 2021-01-31 11:35 荣锋亮阅读(306) 评论(0) 推荐(0) 编辑

cube.js 最新版本的一些特性

摘要：昨天cube.js 推送了新版本的一些特新的汇总，实际上如果关注了官方issue 以及文档应该会发现好多新特新已经很明确了，而且我以前也有简单的介绍 cubestore 新的数据预处理框架，我有介绍过，以下是官方的明确说明（当然基于基于了apache parquet,arrow ）以及rocksd 阅读全文

posted @ 2021-01-31 10:58 荣锋亮阅读(166) 评论(0) 推荐(0) 编辑

cube.js 支持的类型以及格式化

摘要： cube.js 对于不同的成员支持了一个的类型操作 measures 支持的类型以及格式主要类型 measures 主要是关于聚合操作的，比如count,sum,avg,min,max,countDistinct,countDistinctApprox以及支持计算的number 参考格式主要是百阅读全文

posted @ 2021-01-30 23:33 荣锋亮阅读(173) 评论(0) 推荐(0) 编辑

cube.js 上下文的一些说明

摘要：以前有大概介绍过上下文变量，以下重点介绍一个上下文的说明 USER_CONTEXT 此变量主要是基于cube.js 的安全模式进行抽象的，核心是基于express 的中间件模式扩展的一个参考代码 protected async defaultCheckAuth(req: Request, auth 阅读全文

posted @ 2021-01-30 23:24 荣锋亮阅读(141) 评论(0) 推荐(0) 编辑

cube.js 多租户模式使用一个说明

摘要：主要是关于多租户数据预聚合处理的配置说明 module.exports = { contextToAppId: ({ authInfo }) => `CUBEJS_APP_${authInfo.myappid}`, // scheduledRefreshContexts should return 阅读全文

posted @ 2021-01-30 20:47 荣锋亮阅读(151) 评论(0) 推荐(0) 编辑

airbyte 基于singer 扩展的EL 平台

摘要： airbyte 是基于singer 协议扩展的EL 平台，支持了不错的可视化操作支持的特性方便的数据操作（配置+api）方便的connector 构建操作开源可以私有化部署参考docker-compose 运行 .env VERSION=0.14.1-alpha DATABASE_USER 阅读全文

posted @ 2021-01-30 19:10 荣锋亮阅读(2221) 评论(0) 推荐(0) 编辑

cube.js dimensions 的一些说明

摘要：部分参数 show 控制维度的可见性 dimensions: { comment: { type: `string`, sql: `comments`, shown: false } } case 进行case 的支持 cube("caseapp",{ sql: `select * from dem 阅读全文

posted @ 2021-01-29 21:46 荣锋亮阅读(176) 评论(0) 推荐(0) 编辑

cube.js measures 的一些说明

摘要：以前有介绍过关于cube.js 的measures，以下主要说明一些新的特性 filter 主要进行一个计算的过滤处理 ordersCompletedCount: { sql: `id`, type: `count`, filters: [ { sql: `${CUBE}.status = 'com 阅读全文

posted @ 2021-01-29 21:44 荣锋亮阅读(234) 评论(0) 推荐(0) 编辑

cube.js 上下文变量

摘要：上下文变量提供了比较强大的cube.js 自定义处理，目前cube.js 提供了filter，user context sql utils，compile context,unsafe value filter params 基于FILTER_PARAMS 允许基于filter 在sql 生成的时候阅读全文

posted @ 2021-01-27 19:57 荣锋亮阅读(200) 评论(0) 推荐(0) 编辑

cube.js 多租户的实践

摘要：几个问题安全应该开启checkAuth 处理同时基于此进行用户相关资源的配置（部分信息可以放jwt token 中，也可以基于用户配置后边查询） module.exports = { checkAuth: (req, auth) => { console.log("authinfo") con 阅读全文

posted @ 2021-01-27 18:09 荣锋亮阅读(271) 评论(0) 推荐(0) 编辑

cube.js join 的处理

摘要：支持join 模式参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 说明注意所有的join 使用的默认是left join ，对阅读全文

posted @ 2021-01-26 20:53 荣锋亮阅读(185) 评论(0) 推荐(0) 编辑

cube.js 一个隐藏的schema 扩展服务

摘要： cube.js 支持一种基于package.json deps 模式的schema 发现，但是目前默认是没有开启的，今天在开发基于 s3扩展的时候觉得也有必要支持下，所以基于es6 的默认函数参数模式，将 async dataSchemaFiles(includeDependencies=true) 阅读全文

posted @ 2021-01-26 19:43 荣锋亮阅读(197) 评论(0) 推荐(0) 编辑

cube.js schemaversion的处理

摘要： cube.js 提供了动态schema 生成的处理，但是有些时候是需要进行schema 重新编译生成的 cube.js 提供了一个schemaVersion的配置选项可以用来解决此解决，我们可以基于api进行扩展参考定义注意此选项对于dev 模式是没有用的，因为dev每次都会进行schema 的阅读全文

posted @ 2021-01-26 19:41 荣锋亮阅读(172) 评论(0) 推荐(0) 编辑

扩展cube.js的repositoryFactory 支持基于s3的schema 存储

摘要： cube.js 是一个很不错的数据分析框架（架构设计特别灵活，支持多种数据源的处理）以下是扩展本地文件系统，方便的支持基于s3的后后端存储模型，以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用参考代码源码可以参考github rongfengliang/cu 阅读全文

posted @ 2021-01-26 11:45 荣锋亮阅读(157) 评论(0) 推荐(0) 编辑

stream-to-promise stream 2 promise 的npm 包

摘要：好处就是简化callback的处理，以下是关于minio listobjects 的使用参考代码 pacakge.json { "name": "app", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencie 阅读全文

posted @ 2021-01-25 23:09 荣锋亮阅读(153) 评论(0) 推荐(0) 编辑

grafana 容器数据迁移的处理

摘要：一个简单的场景，grafana 基于容器部署的，但是早起没有使用持久化数据卷以及使用了内置的sqlite 数据库所以存在存储迁移的问题，几个数据迁移的方法基于几个假设，我们没有使用额外的扩展插件解决方法使用api 导出dashboard 以及datasource 通知配置直接copy gr 阅读全文

posted @ 2021-01-25 20:28 荣锋亮阅读(543) 评论(0) 推荐(0) 编辑

json-caching-proxy 支持har 的cache proxy

摘要： json-caching-proxy 是基于express-http-proxy 开发的一个支持har cache 的proxy server，可以方便的用来进行mock 以及测试参考使用支持cli 以及代码模式安装 npm install -g json-caching-proxy 简单使阅读全文

posted @ 2021-01-24 21:54 荣锋亮阅读(120) 评论(0) 推荐(0) 编辑

cube.js 的客户端简单介绍

摘要：目前来说官方主要提供的是js 的客户端，其他语言的暂时还没有，github 上也有人提议了尽管cube.js 提供了http api 以及通用的query format 但是还是确认web 的易用性，所有有了不同框架的client，同时也包装的比较方便，可以快速进行一些图表框架的继承 js clie 阅读全文

posted @ 2021-01-24 17:57 荣锋亮阅读(311) 评论(0) 推荐(0) 编辑

cube.js 开发说明

摘要：主要是关于如果进行cube.js 开发以及参与的（同时也可以方便的学习cube.js 项目结构）主要说明关于client && driver 的开发 cube.js client 流程 1. clone 代码 yarn && yarn lerna bootstrap 安装依赖 2. 使用yarn 阅读全文

posted @ 2021-01-24 17:39 荣锋亮阅读(521) 评论(0) 推荐(0) 编辑

cube.js 代码集成模式

摘要：尽管cube.js 推荐基于docker 进行环境的部署，但是基于代码的启动模式也是很有用的 cube.js 提供了多种模式的方法，core以及server core 模式 core 模式比较原始了，我们可以方便的集成web 框架（express） @cubejs-backend/server-co 阅读全文

posted @ 2021-01-24 10:55 荣锋亮阅读(244) 评论(0) 推荐(0) 编辑

terminus nodejs应用健康检查&&平滑关闭服务

摘要：以前有介绍过golang 版本的，以下是一个nodejs 版本的，功能还是简单，主要可以方便平滑关闭服务以及健康检查，是一个挺不错的工具包参考使用 express const http = require('http'); const express = require('express'); 阅读全文

posted @ 2021-01-24 10:53 荣锋亮阅读(168) 评论(0) 推荐(0) 编辑

cube.js 执行环境

摘要： cube.js 使用node vm 进行schema 的编译，提供了灵活的编译schema 的能力 cube.js 提供的全局对象 cube(), context() asyncModule() import && export 的处理数据schema 定义的es6 文件，将会被编译为nodejs 阅读全文

posted @ 2021-01-24 00:21 荣锋亮阅读(169) 评论(0) 推荐(0) 编辑

cube.js 动态schema 编译处理

摘要： cube.js 支持动态schema 的编译生成（只执行一次）一些约定基于asyncModule() 函数，自定义的schema 需要放schema 目录下（当然可以自己扩展resopitryFactory） sql 以及drillMembers 需要是函数，函数的签名为()=>string 参阅读全文

posted @ 2021-01-23 23:55 荣锋亮阅读(298) 评论(0) 推荐(0) 编辑

cube.js 独立cubestore使用类型问题的解决

摘要：主要是上次碰到的关于基于cubestore 进行存储使用read only 问题的解决解决方法主要修改packages/cubejs-query-orchestrator/src/driver/BaseDriver.js 说明通过查看github 上issue 的解决方法，发现通读源码还是比较阅读全文

posted @ 2021-01-21 21:42 荣锋亮阅读(118) 评论(0) 推荐(0) 编辑

cube.js 查询分页的处理

摘要： cube.js 对于查询的处理都是自动生成sql的，同样对于分页的处理也是类似的，目前官方的play ground 对于分页暂时没有可视化操作但是查询api 是支持的参考查询格式 cube.js 提供的 api 查询支持是支持分页处理的，包含的参数主要是limit 以及offset 参考分页处理阅读全文

posted @ 2021-01-18 21:33 荣锋亮阅读(218) 评论(0) 推荐(0) 编辑

cube.js 预聚合处理

摘要： cube.js 的预聚合处理是cube.js 比较吸引人的一个地方，同时cube.js 也支持外部模式的数据预聚合处理以下是一个参考试用环境准备 docker-compose version: '3' services: pg: image: postgres:12 environment: - 阅读全文

posted @ 2021-01-18 13:16 荣锋亮阅读(278) 评论(0) 推荐(0) 编辑

assemblyscript基于typescript 开发WebAssembl

摘要： assemblyscript 可以将typescript 定义的方法编译为WebAssembly，使用比较简单参考使用项目初始化 yarn init -y yarn add @assemblyscript/loader yarn add assemblyscript --dev npx asin 阅读全文

posted @ 2021-01-17 22:25 荣锋亮阅读(431) 评论(0) 推荐(0) 编辑

muzejs 基于webassembly 的高性能数据可视化库

摘要： muzejs 基于webassembly 的高性能数据可视化库，但是不开源，设计很不错，提供了完整的数据模型处理以及比较完整的文档，同时cube.js 官方又一个基于muzejs开发类似 tableau 可视化的博客，很值得看看参考资料 https://muzejs.org/docs/wa/la 阅读全文

posted @ 2021-01-17 18:52 荣锋亮阅读(360) 评论(0) 推荐(0) 编辑

xk6 构建原理说明

摘要： xk6 是基于了caddyserver 的一个构建工具，实际上原理上不难，依赖了golang 的一些工具包比如go mod，go get，go build 参考main代码类似db的模块注册，然后引入依赖的模块模块的开发有介绍过，就是一个module 的注册，将go 对象暴露为goja 的o 阅读全文

posted @ 2021-01-16 18:46 荣锋亮阅读(744) 评论(0) 推荐(0) 编辑

k6 新的扩展参考开发

摘要：内容来自官方文档，主要是一个学习创建项目 go mod init github.com/k6io/xk6-redis 参考代码需要push github package redis import ( "context" "time" "github.com/go-redis/redis/ 阅读全文

posted @ 2021-01-15 22:46 荣锋亮阅读(376) 评论(0) 推荐(0) 编辑

k6 新的扩展开发模式

摘要： k6 参考了caddyserver 的模式提供了一个新的扩展开发模式，这样可以简化插件开发（主要还是基于js webpack 转换模式复杂以及支持的能力有限）参考构建使用了类似golang 包的模式，可以直接引入其他三方包，只要按照goja js 互调用模式开发的就可以构建 xk6 buil 阅读全文

posted @ 2021-01-15 22:37 荣锋亮阅读(367) 评论(0) 推荐(0) 编辑

gocloc 代码统计算法

摘要： gocloc是一个支持代码统计的golang 包，同时也可以基于cli 运行参考使用环境准备 go.mod module demoapp go 1.15 require github.com/hhatto/gocloc v0.3.3 main.go package main impo 阅读全文

posted @ 2021-01-15 20:20 荣锋亮阅读(677) 评论(0) 推荐(0) 编辑

pg_stat_monitor pg_stat_statements 的增强扩展

摘要： pg_stat_monitor 基于pg_stat_statements 提供了更多的性能监控metrics 参考dockerfile FROM postgres:12.3 as build LABEL AUTHOR="dalongrong" ENV TZ=Asia/Shanghai \ L 阅读全文

posted @ 2021-01-13 21:24 荣锋亮阅读(470) 评论(0) 推荐(0) 编辑

Replication Between PostgreSQL Versions Using Logical Replication

摘要：转自:https://www.percona.com/blog/2019/04/04/replication-between-postgresql-versions-using-logical-replication/ When you need to upgrade PostgreSQL, the 阅读全文

posted @ 2021-01-13 21:23 荣锋亮阅读(198) 评论(0) 推荐(0) 编辑

postgres fdw extensions 容器镜像

摘要：主要是制作一个包含了比较全的pg fdw extension 的容器镜像，方便使用 Dockerfile 因为默认官方的docker 镜像就是基于deb 包生成的，所以可以直接使用参考12 版本的相关包 pgagent - job scheduling engine for PostgreSQL 阅读全文

posted @ 2021-01-12 21:02 荣锋亮阅读(328) 评论(0) 推荐(0) 编辑

使用har分析web 应用性能

摘要： har 是http 归档文件，使用json 格式进行http 回话的录制&&方便分析注意har 文件会包含系统的敏感信息，分发的时候注意数据处理录制方法查看方法很多，可以直接基于谷歌浏览器，或者使用一些开源的工具，比如har-viewer，或者谷歌提供的har 分析工具 harviewer 阅读全文

posted @ 2021-01-12 20:53 荣锋亮阅读(713) 评论(0) 推荐(0) 编辑

导航

公告