使用clinicjs 分析cube.js 的调用情况
摘要：clinicjs 是一个很强大的nodejs 性能分析工具，以下只是一个简单的说明cube.js 中如何使用 方便学习cube.js 添加index.js 基于代码启动cube.js const CubejsServer = require('@cubejs-backend/server'); co
阅读全文
posted @ 2021-01-31 21:36
01 2021 档案
sitespeed.io 开源web 性能监控&&优化工具集
摘要：sitespeed.io 提供了好多web 监控&&优化的工具，是一个很不错的工具集 sitespeed.io 包含了好多方便的工具，比如har 文件处理的，网络模拟的（chaos 工程） 说明 如果需要进行web性能分析，但是缺少工具sitespeed.io 是一个很不错的选择 参考资料 http
阅读全文
posted @ 2021-01-31 11:37
sideway/joi js 强大的data schma 校验框架
摘要：数据校验处理在实际中是一个很重要的东西，类似的框架也比较多，同时也包含了 好多规范指南（json schema，xml schema。。。。），joi 是一个比较强大的js 对于 校验框架，使用简单，支持特新丰富 参考使用 const Joi = require('joi'); const sc
阅读全文
posted @ 2021-01-31 11:35
cube.js 最新版本的一些特性
摘要：昨天cube.js 推送了新版本的一些特新的汇总，实际上如果关注了官方issue 以及文档 应该会发现好多新特新已经很明确了，而且我以前也有简单的介绍 cubestore 新的数据预处理框架，我有介绍过，以下是官方的明确说明（当然基于基于了apache parquet,arrow ）以及rocksd
阅读全文
posted @ 2021-01-31 10:58
cube.js 支持的类型以及格式化
摘要：cube.js 对于不同的成员支持了一个的类型操作 measures 支持的类型以及格式 主要类型 measures 主要是关于聚合操作的，比如count,sum,avg,min,max,countDistinct,countDistinctApprox以及支持计算的number 参考格式 主要是百
阅读全文
posted @ 2021-01-30 23:33
cube.js 上下文的一些说明
摘要：以前有大概介绍过上下文变量，以下重点介绍一个上下文的说明 USER_CONTEXT 此变量主要是基于cube.js 的安全模式进行抽象的，核心是基于express 的中间件模式扩展的一个 参考代码 protected async defaultCheckAuth(req: Request, auth
阅读全文
posted @ 2021-01-30 23:24
cube.js 多租户模式使用一个说明
摘要：主要是关于多租户数据预聚合处理的 配置说明 module.exports = { contextToAppId: ({ authInfo }) => `CUBEJS_APP_${authInfo.myappid}`, // scheduledRefreshContexts should return
阅读全文
posted @ 2021-01-30 20:47
airbyte 基于singer 扩展的EL 平台
摘要：airbyte 是基于singer 协议扩展的EL 平台，支持了不错的可视化操作 支持的特性 方便的数据操作（配置+api） 方便的connector 构建操作 开源可以私有化部署 参考docker-compose 运行 .env VERSION=0.14.1-alpha DATABASE_USER
阅读全文
posted @ 2021-01-30 19:10
cube.js dimensions 的一些说明
摘要：部分参数 show 控制维度的可见性 dimensions: { comment: { type: `string`, sql: `comments`, shown: false } } case 进行case 的支持 cube("caseapp",{ sql: `select * from dem
阅读全文
posted @ 2021-01-29 21:46
cube.js measures 的一些说明
摘要：以前有介绍过关于cube.js 的measures，以下主要说明一些新的特性 filter 主要进行一个计算的过滤处理 ordersCompletedCount: { sql: `id`, type: `count`, filters: [ { sql: `${CUBE}.status = 'com
阅读全文
posted @ 2021-01-29 21:44
cube.js 上下文变量
摘要：上下文变量提供了比较强大的cube.js 自定义处理，目前cube.js 提供了filter，user context sql utils，compile context,unsafe value filter params 基于FILTER_PARAMS 允许基于filter 在sql 生成的时候
阅读全文
posted @ 2021-01-27 19:57
cube.js 多租户的实践
摘要：几个问题 安全 应该开启checkAuth 处理 同时基于此进行用户相关资源的配置（部分信息可以放jwt token 中，也可以基于用户配置后边查询） module.exports = { checkAuth: (req, auth) => { console.log("authinfo") con
阅读全文
posted @ 2021-01-27 18:09
cube.js join 的处理
摘要：支持join 模式 参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 说明 注意所有的join 使用的默认是left join ，对
阅读全文
posted @ 2021-01-26 20:53
cube.js 一个隐藏的schema 扩展服务
摘要：cube.js 支持一种基于package.json deps 模式的schema 发现，但是目前默认是没有开启的，今天在开发基于 s3扩展的时候觉得也有必要支持下，所以基于es6 的默认函数参数模式，将 async dataSchemaFiles(includeDependencies=true)
阅读全文
posted @ 2021-01-26 19:43
cube.js schemaversion的处理
摘要：cube.js 提供了动态schema 生成的处理，但是有些时候是需要进行schema 重新编译生成的 cube.js 提供了一个schemaVersion的配置选项可以用来解决此解决，我们可以基于api进行扩展 参考定义 注意此选项对于dev 模式是没有用的，因为dev每次都会进行schema 的
阅读全文
posted @ 2021-01-26 19:41
扩展cube.js的repositoryFactory 支持基于s3的schema 存储
摘要：cube.js 是一个很不错的数据分析框架（架构设计特别灵活，支持多种数据源的处理） 以下是扩展本地文件系统，方便的支持基于s3的后后端存储模型，以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用 参考代码 源码可以参考github rongfengliang/cu
阅读全文
posted @ 2021-01-26 11:45
stream-to-promise stream 2 promise 的npm 包
摘要：好处就是简化callback的处理，以下是关于minio listobjects 的使用 参考代码 pacakge.json { "name": "app", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencie
阅读全文
posted @ 2021-01-25 23:09
grafana 容器数据迁移的处理
摘要：一个简单的场景，grafana 基于容器部署的，但是早起没有使用持久化数据卷以及使用了内置的sqlite 数据库 所以存在存储迁移的问题，几个数据迁移的方法 基于几个假设，我们没有使用额外的扩展插件 解决方法 使用api 导出dashboard 以及datasource 通知配置 直接copy gr
阅读全文
posted @ 2021-01-25 20:28
json-caching-proxy 支持har 的cache proxy
摘要：json-caching-proxy 是基于express-http-proxy 开发的一个支持har cache 的proxy server，可以方便的 用来进行mock 以及测试 参考使用 支持cli 以及代码模式 安装 npm install -g json-caching-proxy 简单使
阅读全文
posted @ 2021-01-24 21:54
cube.js 的客户端简单介绍
摘要：目前来说官方主要提供的是js 的客户端，其他语言的暂时还没有，github 上也有人提议了尽管cube.js 提供了http api 以及通用的query format 但是还是确认web 的易用性，所有有了不同框架的client，同时也包装的比较方便，可以快速进行一些图表框架的继承 js clie
阅读全文
posted @ 2021-01-24 17:57
cube.js 开发说明
摘要：主要是关于如果进行cube.js 开发以及参与的（同时也可以方便的学习cube.js 项目结构） 主要说明关于client && driver 的开发 cube.js client 流程 1. clone 代码 yarn && yarn lerna bootstrap 安装依赖 2. 使用yarn
阅读全文
posted @ 2021-01-24 17:39
cube.js 代码集成模式
摘要：尽管cube.js 推荐基于docker 进行环境的部署，但是基于代码的启动模式也是很有用的 cube.js 提供了多种模式的方法，core以及server core 模式 core 模式比较原始了，我们可以方便的集成web 框架（express） @cubejs-backend/server-co
阅读全文
posted @ 2021-01-24 10:55
terminus nodejs应用健康检查&&平滑关闭服务
摘要：以前有介绍过golang 版本的，以下是一个nodejs 版本的，功能还是简单，主要可以方便 平滑关闭服务以及健康检查，是一个挺不错的工具包 参考使用 express const http = require('http'); const express = require('express');
阅读全文
posted @ 2021-01-24 10:53
cube.js 执行环境
摘要：cube.js 使用node vm 进行schema 的编译，提供了灵活的编译schema 的能力 cube.js 提供的全局对象 cube(), context() asyncModule() import && export 的处理 数据schema 定义的es6 文件，将会被编译为nodejs
阅读全文
posted @ 2021-01-24 00:21
cube.js 动态schema 编译处理
摘要：cube.js 支持动态schema 的编译生成（只执行一次） 一些约定 基于asyncModule() 函数，自定义的schema 需要放schema 目录下（当然可以自己扩展resopitryFactory） sql 以及drillMembers 需要是函数，函数的签名为()=>string 参
阅读全文
posted @ 2021-01-23 23:55
cube.js 独立cubestore使用类型问题的解决
摘要：主要是上次碰到的关于基于cubestore 进行存储使用read only 问题的解决 解决方法 主要修改packages/cubejs-query-orchestrator/src/driver/BaseDriver.js 说明 通过查看github 上issue 的解决方法，发现通读源码还是比较
阅读全文
posted @ 2021-01-21 21:42
cube.js 查询分页的处理
摘要：cube.js 对于查询的处理都是自动生成sql的，同样对于分页的处理也是类似的，目前官方的play ground 对于分页暂时没有可视化操作 但是查询api 是支持的 参考查询格式 cube.js 提供的 api 查询支持是支持分页处理的，包含的参数主要是limit 以及offset 参考分页处理
阅读全文
posted @ 2021-01-18 21:33
cube.js 预聚合处理
摘要：cube.js 的预聚合处理是cube.js 比较吸引人的一个地方，同时cube.js 也支持外部模式的数据预聚合处理 以下是一个参考试用 环境准备 docker-compose version: '3' services: pg: image: postgres:12 environment: -
阅读全文
posted @ 2021-01-18 13:16
assemblyscript基于typescript 开发WebAssembl
摘要：assemblyscript 可以将typescript 定义的方法编译为WebAssembly，使用比较简单 参考使用 项目初始化 yarn init -y yarn add @assemblyscript/loader yarn add assemblyscript --dev npx asin
阅读全文
posted @ 2021-01-17 22:25
muzejs 基于webassembly 的高性能数据可视化库
摘要：muzejs 基于webassembly 的高性能数据可视化库，但是不开源，设计很不错，提供了 完整的数据模型处理以及比较完整的文档，同时cube.js 官方又一个基于muzejs开发类似 tableau 可视化的博客，很值得看看 参考资料 https://muzejs.org/docs/wa/la
阅读全文
posted @ 2021-01-17 18:52
xk6 构建原理说明
摘要：xk6 是基于了caddyserver 的一个构建工具，实际上原理上不难，依赖了golang 的一些工具包 比如go mod，go get，go build 参考main代码 类似db的模块注册，然后引入依赖的模块 模块的开发 有介绍过，就是一个module 的注册，将go 对象暴露为goja 的o
阅读全文
posted @ 2021-01-16 18:46
k6 新的扩展参考开发
摘要：内容来自官方文档，主要是一个学习 创建项目 go mod init github.com/k6io/xk6-redis 参考代码 需要push github package redis import ( "context" "time" "github.com/go-redis/redis/
阅读全文
posted @ 2021-01-15 22:46
k6 新的扩展开发模式
摘要：k6 参考了caddyserver 的模式提供了一个新的扩展开发模式，这样可以简化插件开发（主要还是基于js webpack 转换模式复杂 以及支持的能力有限） 参考构建 使用了类似golang 包的模式，可以直接引入其他三方包，只要按照goja js 互调用模式开发的就可以 构建 xk6 buil
阅读全文
posted @ 2021-01-15 22:37
gocloc 代码统计算法
摘要：gocloc是一个支持代码统计的golang 包，同时也可以基于cli 运行 参考使用 环境准备 go.mod module demoapp go 1.15 require github.com/hhatto/gocloc v0.3.3 main.go package main impo
阅读全文
posted @ 2021-01-15 20:20
pg_stat_monitor pg_stat_statements 的增强扩展
摘要：pg_stat_monitor 基于pg_stat_statements 提供了更多的性能监控metrics 参考dockerfile FROM postgres:12.3 as build LABEL AUTHOR="dalongrong" ENV TZ=Asia/Shanghai \ L
阅读全文
posted @ 2021-01-13 21:24
Replication Between PostgreSQL Versions Using Logical Replication
摘要：转自:https://www.percona.com/blog/2019/04/04/replication-between-postgresql-versions-using-logical-replication/ When you need to upgrade PostgreSQL, the
阅读全文
posted @ 2021-01-13 21:23
postgres fdw extensions 容器镜像
摘要：主要是制作一个包含了比较全的pg fdw extension 的容器镜像，方便使用 Dockerfile 因为默认官方的docker 镜像就是基于deb 包生成的，所以可以直接使用 参考12 版本的相关包 pgagent - job scheduling engine for PostgreSQL
阅读全文
posted @ 2021-01-12 21:02
使用har分析web 应用性能
摘要：har 是http 归档文件，使用json 格式进行http 回话的录制&&方便分析 注意har 文件会包含系统的敏感信息，分发的时候注意数据处理 录制方法 查看 方法很多，可以直接基于谷歌浏览器，或者使用一些开源的工具，比如har-viewer，或者谷歌提供的har 分析工具 harviewer
阅读全文
posted @ 2021-01-12 20:53
postgres-fdw 集成cratedb 的尝试的几个问题
摘要：尽管cratedb 支持pg 协议但是不是100%兼容的（不像yugabyte db，基于pg） 所以进行了一些尝试以及修改pg fdw 源码，支持（目前还是有问题） start transaction 问题 cratedb 对于transction 是不支持的，但是做了协议兼容（兼容的begin语
阅读全文
posted @ 2021-01-12 11:37
cratedb 自定义函数
摘要：cratedb 支持自定义函数，但是当前只有js 引擎(基于graalvm)，而且需要企业license （当然我们可以使用免费的3节点的集群） 自定义函数格式 CREATE [OR REPLACE] FUNCTION function_name ( [ [arg_name] arg_type ]
阅读全文
posted @ 2021-01-10 19:34
cratedb 集成graphjin 尝试（木有成功）
摘要：graphjin 是一个很不错的graphql engine（library），因为cratedb 兼容pg协议，所以以下是一个简单的 集成尝试 环境准备 cratedb 环境 version: "3" services: db: image: dalongrong/cratedb:4.4.0 po
阅读全文
posted @ 2021-01-10 19:15
graphjin 试用
摘要：以前大概介绍过graphjin的特性，以下是一个试用 注意需要docker&&docker-compose 安装 安装 go get github.com/dosco/graphjin 创建app graphjin new app 效果 使用 注意需要注释关于resolvers 的部分（有异常） c
阅读全文
posted @ 2021-01-09 13:23
gosimple/slug 生成url 友好的slug
摘要：gosimple/slug 是一个golang 包，可以用开生成支持多语言的url 友好的slug 参考使用 package main import ( "fmt" "github.com/gosimple/slug" ) func main() { text := slug.Make("H
阅读全文
posted @ 2021-01-08 23:05
graphjin super-graph的升级版本
摘要：以前有大概介绍过super-graph 一个graphql 引擎，目前super-graph 不维护了，升级为了graphjin graphjin 更加方便灵活，支持的特性也是很多的 特性 pg，mysql8，yugabyte 复杂嵌套查询以及修改 更新的订阅 内建无限滚动 数据表结构自动学习 基于
阅读全文
posted @ 2021-01-08 22:59
编译cratedb 支持多集群节点部署
摘要：很多时候为了体验多集群的特性，但是默认是的3节点的，我们可以修改代码解决 参考代码修改 主要是关于企业license 服务的 https://github.com/crate/crate/blob/master/enterprise/licensing/src/main/java/io/crate/
阅读全文
posted @ 2021-01-08 17:28
loki 集成报警通知
摘要：loki 是一个很不错的类似prometheus 的日志系统，我们也可以基于grafana 进行报警添加 当然新版本也支持类似alertmanager 模式的报警（后期试用添加说明） 原理 将loki 数据添加为prometheus 格式的，然后基于prometheus 的模式进行报警（因为loki
阅读全文
posted @ 2021-01-07 20:32
grafana agent 集成tempo 试用
摘要：很简单就是几个工具椽到一起，方便学习了解grafana agent 对于tempo的支持 预备说明 grafana agent 对于tempo的支持，我们需要使用opentelemetry-collector，关于opentelemetry-collector 的使用 以及功能可以参考相关资料 环境
阅读全文
posted @ 2021-01-07 18:59
grafana agent 与vmagent 的一些比较
摘要：grafana agent 是grafana 为了grafana cloud 开发的轻量的工具，但是也是直接可以使用的（依赖开放的，以及开源标准） 以下是grafana agent与vmagent 的一些比较 各自的功能 vmagent 参考架构图 vmagent 主要是进行metrcis 处理的，
阅读全文
posted @ 2021-01-07 18:56
基于opentelemetry-collector的系统可视化方案
摘要：借用一张图 集成grafana agent 的方案 同时也集成了opentelemetry-collector，好处是将一些集中以及基于pull模式的，调整为了push模式，同时 grafana agent 是一个集成了好多工具的接近全家桶的工具，可以减少我们的部署以及维护成本 说明 上图以及很清晰
阅读全文
posted @ 2021-01-07 18:55
vector 高性能可视化数据pipeline 平台
摘要：vector 是基于rust 编写的高性能，数据可视化平台，支持数据的聚合以及可视化 支持数据的collect，transform，route，支持logs，metrics，trace 一张参考图 参考部署模型 说明 vector 还是很轻量的，而且支持的集成模式也是很多的,同时包含了丰富的数据转换
阅读全文
posted @ 2021-01-07 18:53
grafana tempo 分布式追踪框架学习试用
摘要：环境基于了官方的docker-compose demo 环境准备（基于docker-compose 运行） docker-compose 文件 version: "3" services: tempo: image: grafana/tempo:latest command: - "-storage
阅读全文
posted @ 2021-01-06 18:24
synthetic-load-generator 一个不错的opentracing trace && metrics && logs 生成工具
摘要：synthetic-load-generator 是基于java 开发的生成opentracing trace，metrics，log的工具 使用简单，比较适合测试 容器镜像使用 docker-compose 模式 synthetic-load-generator: image: omnition/
阅读全文
posted @ 2021-01-06 18:22
记一次php.ini配置不合理造成系统加载偏慢问题
摘要：php 是一个很不错的脚本语言，以下是说明关于问题的配置部分，以及解决方法 现象 系统使用lls 运行php，基于cgi 模式，使用webpi模式部署，系统的现象是运行越来越慢，通过 浏览器看到的php 应用首页请求的TTFB在10多秒，而且对于依赖其他的服务的（比如验证码，session 的更慢）
阅读全文
posted @ 2021-01-06 11:59
Data-Prepper opendistro 开源的基于es 的trace 分析工具
摘要：后边试用下，具体内容可以看以下链接，了解下Data-Prepper 提供的trace 分析方案，还是很不错的 参考资料 https://opendistro.github.io/for-elasticsearch/blog/releases/2020/12/announcing-trace-anal
阅读全文
posted @ 2021-01-05 23:27
使用babel-standalone 让浏览器支持es6特性
摘要：babel-standalone 是一个可以在浏览器端运行babel 编译的工具，同时官方也说明了一些使用场景（需要进行实时编译的） 使用 使用比较简单，就是添加依赖 参考 <div id="output"></div> <!-- Load Babel --> <script src="https:
阅读全文
posted @ 2021-01-05 21:11
tempo grafana 团队开源的分布式追踪框架
摘要：参考架构 说明 tempo有一个更好的功能，是方便追踪与log 的集成（loki）,以下参考链接值得看看 参考资料 https://github.com/grafana/tempo https://gouthamve.dev/tempo-a-game-of-trade-offs/ https://g
阅读全文
posted @ 2021-01-05 19:09
grafana/agent grafana 团队开源的兼容prometheus 的agent
摘要：grafana/agent 是一个轻量的兼容prometheus 的agent，主要是为了grafana cloud 做的优化。 支持的特性 服务发现 抓取 WAL remote wirte 一些折中 不能查询，只能写入到远端存储，类似vmagent recoring rule 不支持，vmagen
阅读全文
posted @ 2021-01-05 19:08
k6 集成goja 的部分集成说明
摘要：k6 对于goja 的集成还是比较强大的，支持了es6（基于babel 的编译能力），同时对于默认的js engine 进行了扩展（基于core-js） 同时对于require以及module ，exports 也是支持的，只是对于exports 是自己定义了变量，同时对于一些内置的模块（k6 开头
阅读全文
posted @ 2021-01-05 16:30
spf13/afero 通用文件系统试用
摘要：以前有大概介绍过类似的几个不错的通用文件系统工具包，以下是关于spf13/afero 的试用 参考代码 package main import ( "io/ioutil" "log" "github.com/spf13/afero" ) func main() { var appFs =
阅读全文
posted @ 2021-01-05 15:52
goja 支持es6的一种方法
摘要：goja 对于es6 的module 模式是不支持的，但是我们可以通过扩展模式支持 基本原理 k6 是利用了goja 的js 能力，但是为了支持es6，使用了babel （standalone）,同时为了方便扩展ls 的能力，使用了core.js 同时利用了js可以直接转换为golang 方法的模式
阅读全文
posted @ 2021-01-04 21:54
salesforce 跨组织数据可见性的方案
摘要：内容来自salesforce 博客解决方案,属于work.com 的一个方案，但是并不是完整的方案，支持利用了heroku 的一些特性 参考图 参考资料 https://medium.com/salesforce-architects/multi-org-visibility-for-work-co
阅读全文
posted @ 2021-01-04 20:25
golang 的MessagePack编解码包的试用
摘要：主要是对于golang messagepack 包的试用 项目代码 go.mod module demoapp go 1.15 require ( github.com/davecgh/go-spew v1.1.1 // indirect github.com/kr/text v0.2.0
阅读全文
posted @ 2021-01-04 20:23
pmd 开源静态代码分析工具
摘要：pmd 是一个开源的静态代码分析工具，目前主要支持的语言包括 javacript java jsp maven pom plsql xml 说明 同时也提供了多种语言的插件（maven，ant，gradle），当然我们基于CPD，也可以支持其他语言（golang，ruby。。。。） 参考资料 htt
阅读全文
posted @ 2021-01-04 11:46
pyenv 的virtualenv
摘要：pyenv 包含了virtualenv，我们可以用来方便的管理venv环境，同时的好处是可以进行复用，减少因为项目级别的 venv 造成存储空间的占用 参考命令 pyenv virtualenv --help Usage: pyenv virtualenv [-f|--force] [VIRTUAL
阅读全文
posted @ 2021-01-04 09:30
salesforce 技术文章整理
摘要：主要是记录以下来自salesforce 官方blog的技术文章（来自medium），包含了链接以及导出的pdf文件 方便查看 Diagnostics and Monitoring Tools for Salesforce — Part 1 https://medium.com/salesforce-
阅读全文
posted @ 2021-01-04 09:29
一些声明式可视化库
摘要：一篇不错的参考介绍文章https://dataquarium.io/intro-to-vega/ 当然如果从声明式定义老说，类似的可视化库还是比较多的 参考资料 https://echarts.apache.org/en/index.html https://vega.github.io/vega-
阅读全文
posted @ 2021-01-03 22:31
vega 一个数据可视化语法指南
摘要：vega 提供了基于json 定义数据可视化操作的指南说明，同时也提供了一些参考实现（python，nodejs） 同时vega也提供了一些周边工具（editor，query engine），从官方文档看到vega 是一个很不错的指南 因为我们目前进行可视化开发缺少通用的指南，而且每中可视化组件都有
阅读全文
posted @ 2021-01-03 21:33
python 可视化包streamlit学习
摘要：streamlit是一个快速开发基于python应用的数据app包，开发比较方便,同时官方也提供了 一个方便云服务 安装 python -m venv venv source venv/bin/activate pip install -i https://mirrors.aliyun.com/py
阅读全文
posted @ 2021-01-03 20:46
django 多数据源配置
摘要：django 内置了数据的orm 处理以及schema 处理，所以如果需要处理多数据源，那么我们就需要在 migrate以及crud的时候进行处理了，django 提供了方便的多数据源支持处理，migrate 的时候指定 依赖的数据库就可以进行migrate的处理了，对于crud，django 支持
阅读全文
posted @ 2021-01-03 12:48
Rules of Micro-Frontends
摘要：参考资料：https://medium.com/swlh/rules-of-micro-frontends-7b96c10dde9 This is an opinionated list of best practices when designing applications that follo
阅读全文
posted @ 2021-01-02 23:27
cube.js 查询格式
摘要：cube.js 提供了自己特有的数据查询模式，还是比较清晰的，包含了维度，度量，时间粒度，以及分段（segments） 查询格式 格式为 CUBEE_NAME.MEMBER_NAME 比如维度email，查询cube Users 为Users.email 对于时间的查询处理CUBE_NAME.TIM
阅读全文
posted @ 2021-01-02 22:42
Configuring Django Settings: Best Practices
摘要：转自:https://djangostars.com/blog/configuring-django-settings-best-practices/ 一个很不错的实践 This article is intended for engineers who use the Django framewo
阅读全文
posted @ 2021-01-02 18:43
django 创建可重用的app
摘要：重要目的是打包自己的django app 为一个pip 包，实现应用的复用，以下是一个简单的demo 说明对于django project 集成admin 需要自己创建登陆账户的，以下没有说明 创建一个简单的django project 命令 django-admin startproject de
阅读全文
posted @ 2021-01-02 18:39
django 静态文件&&模版的处理的一些实践
摘要：静态文件与模版在django 中的处理既有相似的地方又有不同的地方 模版是代码关联的，静态文件一般是css，js ，图片等，一般静态资源是需要进行比较好的处理的（量大，而且需要优化处理） 静态资源的处理 配置 参考，注意app 以及project的会有覆盖的效果，这个与template是一样的 ST
阅读全文
posted @ 2021-01-02 15:13
cube.js data Blending
摘要：cube.js 的 data Blending，主要是解决多数据schema 数据集成（数据charts的集成）的问题 官方的解决方法还是比较简单的，核心是使用了sql 的union all 同时引用了数据schema 的sql 同时cube.js 也提供了多查询的处理，会自己进行转换处理 参考 数
阅读全文
posted @ 2021-01-01 23:18
cube.js 的rest api
摘要：cube.js 同时提供了强大的rest api 支持，默认请求地址是/cubejs-api ，当然可以通过Cube.js 修改 认证授权 cube.js api 的认证授权是基于jwt 的，同时会暴露一个USER_CONTEXT 对象给数据schema 参考请求 curl -H "Authoriz
阅读全文
posted @ 2021-01-01 22:58
cube.js cache 的处理
摘要：cube.js 对于数据的cache 处理是一个很不错的亮点，同时cube.js 支持多级cache，而且支持多种模式的cache in-memory，redus，以及预聚合处理还有就是外部预聚合存储，同时cube.js 也提供了比较完备的cache 刷新策略 配置 一张参考预聚合处理图 当然以前也
阅读全文
posted @ 2021-01-01 22:57
cube.js 多租户支持
摘要：cube.js 对于多租户的支持是比较丰富的，提供了db，schema 上的支持，同时提供了灵活的driverFactory，以及dbType 支持 支持的配置选项 contextToAppId dbType externalDbType driverFactory repositoryFactor
阅读全文
posted @ 2021-01-01 22:56
cube.js 认证以及授权
摘要：cube.js 的认证以及授权是基于security context 的，以下是参考图 简单说明 cube.js 是基于jwt token 处理的，同时关于用户的信息是在存储在u 中的，同时可以通过USER_CONTEXT 访问 同时authInfo 变量可以在多租户中方便的使用 参考u 信息 {
阅读全文
posted @ 2021-01-01 22:21
cube.js的多数据源试用
摘要：cube.js 几个比较核心的是schema 以及driver，driver 是cube.js 开发好的，schema是定义了数据操作的处理 默认cube.js 是基于配置进行数据管理的（dotenv）对于多数据源我们可以基于cube.js 进行支持，同时在schema 的定义中指定datasour
阅读全文
posted @ 2021-01-01 20:55
