rongfengliang-荣锋亮

摘要：graylog 4.0 的新特性还是比较多的，比较事件通知的处理上更明确了，新的界面，同时支持es 7 以下是一个简单的docker-compose 运行环境说明,可以体验新版本的特性 docker-compose 文件 version: '2' services: mongodb: image: 阅读全文

摘要：参考架构 使用场景 实时api，自动api 生成，集成用户登陆，注册服务 说明 supabase 是一个很不错的平台，集成了好多开源的产品，当然supabase也开源可好多开源工具，都是很不错的，当然当前还没有ga 参考资料 https://github.com/supabase/supabaseh 阅读全文

摘要：最新版本的playground 添加了支持having 分组处理,实际上以前也是支持的，只是界面没有，先版本的直接包含了，我们可以直接使用 说明 官方目前也在进行一个新版本playground 的开发（内部调研）估计很快也会发布了，新版本的界面以及效果很完善了 参考资料 https://github 阅读全文

摘要：以下是关于cube.js 与dorisdb 集成的一些参考玩法，通过测试还是很不错的 dorisdb 参考图 数据集成模式 参考集成 参考使用图 cube.js 配置 # Cube.js environment variables: https://cube.dev/docs/reference/e 阅读全文

摘要：unionfs 是一个灵活强大的组合fs npm 包，可以方便的进行多fs 实现的组合，比如基于内存的fs 与本地fs 组合实现强大的 npm 扩展以及配置管理。。。 参考代码 package.json { "name": "mem-fs-app", "version": "1.0.0", "mai 阅读全文

摘要：日常基于自定义header 进行一些控制是一个比较常见的需求，cube.js 的playground 可能没有此功能，但是cube.js client sdk 支持 实际上自己进行api 请求，包含header 也是可以的，就是普通的header处理 使用方法 header 处理 可以在cube.j 阅读全文

摘要：使用通用模拟文件系统，我们可以规避不同存储模型，可以提供系统的灵活性，以下是几个不错的参考，使用中可以参考 说明 类似的实现是比较多的，这里主要说明关于node的，实际上java 以及golang 都有好多类似的实现，也可以参考我以下写过关于golang 的 参考资料 https://github. 阅读全文

摘要：场景很简单，实际我们多租户的场景，数据是需要拆分开的，如果就有npm进行schema 的发布管理会存在不同项目，或者不同租户级别的 schema是不同的 使用参考图 简单原理 因为s3 filerepository 是基于s3 的bucket 以及prefix 区分的，我们可以基于参考的配置参数解决 阅读全文

摘要：最近几次cube.js 的变动还是提供了比较多的特性的，一些是一个简单的整理 特性 playground 支持分组操作 cubestore 更新依赖的datafusion（支持更多的特性） 以及处理了import 完成之后才能执行查询 添加配置检查（严模式） bug 修复 外部预聚合的时候优化了数据 阅读全文

摘要：基于react 单页面开发的系统，嵌入到一个iframe 系统中（不同域名）出现了cookie 无法写入的问题 实际上这个是新版本chrome 以及浏览器厂商协定的，核心就是cookie 不安全，我们要限制不安全的 访问，解决方法就是有一套新的规则，参考规则修改系统就好了 跨站cookie 获取问题 阅读全文

摘要：安装依赖 yarn add node-zopfli-es iltorb shrink-ray-current 配置cube.js 定义一个通用的模块 index.js const shrinkRay = require('shrink-ray-current'); module.exports = 阅读全文

摘要：参考图 推荐说明 优先推荐git，官方的cloud 也是git（应该基于git api，同时也可以方便的管理version，基于git branch 的commitid。。。） s3 方便集中式存储（同时合理的也可以利用s3的多版本机制，最好结合元数据描述处理版本以及文件关联） 基于local fs 阅读全文

摘要：apostrophe的设计包含了很多模块，设计都是可扩展的（基于node 模块），灵活强大以下是一个参考的demo 项目结构 说明 官方也提供了比较完整的文档，上手起来很简单 参考资料 https://github.com/apostrophecms/apostrophe/ 阅读全文

摘要：tera 是借鉴了jinja2的rust 模版引擎，使用简单，强大 参考使用 项目结构 main.rs use tera::{Tera,Context}; fn main() { let tera = match Tera::new("templates/**/*.html") { Ok(t) => 阅读全文

摘要：liquidjs 是兼容shopify liquid 的纯js 模板引擎，同时官方文档也比较完整 支持的特性 安全渲染（没有eval 以及Function 使用） shopify 兼容 零依赖 ts 支持 参考使用 app.js const { Liquid } = require('liquidj 阅读全文

摘要：tus 是一个参考的断点续传协议，同时也包含了好多客户端实现方案，很值得参考学习下 说明 tus是一个面向http 的断点续传协议 https://github.com/tus/tusd https://tus.io/ 阅读全文

摘要：nunjucks 是 jinja2 启发的nodejs 模板引擎 支持的特性 类似jinja2强大的支持 快速 可扩展 支持node 以及浏览器 参说明 nunjucks 的功能还是很强大的，是一个值得使用的nodejs 模板引擎 参考资料 https://mozilla.github.io/nun 阅读全文

摘要：实际我们进行cube.js 的集成schema 是一个比较重要的东西，官方的playground 是提供了 一个自己的脚手架，但是基于代码集成就需要我们自己搞定了（比如java），解决方法很简单 我们可以基于模板引擎，以下是基于jinja模板引擎的demo（java 版本的工具） 项目准备 pom. 阅读全文

摘要：在最近cube.js 的发布版本中官方开启了严格的cube.js 检查，是好事，同时也是不好的事情因为0.27.11 发布的版本因为一些校验没添加上，造成了自定义驱动的问题，目前官方已经修复了 参考资料 https://github.com/cube-js/cube.js/releases/tag/ 阅读全文

摘要：cube.js 的预聚合是一个很不错的功能，但是目前是有一些问题的，比如我们包含了大量的数据（几十完，上百万） 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理（比如cubestore支持csv格式的） 基于stream模式的数据处理（目前官方也比较推荐的模式） 一些说明 目前方案都不太好， 阅读全文

摘要：以下是官方关于cubestore 配置的说明，我们可以用来参考部署集群（router以及woker） 参考配置 参考资料 https://cube.dev/docs/caching/running-in-productionhttps://cube.dev/docs/reference/enviro 阅读全文

摘要：cube.js 的playground 是可以修改的（开源，自定义），但是因为有依赖，所以很多时候直接使用是不行的 解决方法 使用npm 的shrinkwrap进行依赖的改写 使用yarn 具体与npm 类似 自己编译一个版本，使用私服进行替换 自己编译playground 添加一个自己的静态web 阅读全文

摘要：官方参考集成方案 参考资料 https://www.nginx.com/blog/how-to-choose-a-service-meshhttps://www.nginx.com/products/nginx-service-mesh/ 阅读全文

摘要：昨天有说明关于mysql协议支持auth的，今天说明下driver支持auth 的方法（已经支持了，只是代码处理需要调整下） cubestore 源码修改 添加auth支持 基于环境变量进行是否进行auth支持的判断 CUBESTORE_AUTH_ENABLE=1 使用，默认没有配置的就不使用 #[ 阅读全文

摘要：实际上官方支持auth 的认证的，只是模式为None,我们可以自定义自己的一个auth，以下主要说明下关于mysql 协议的，因为特殊性 http 走的是websocket（后期添加） 参考修改的代码 auth #[async_trait] impl SqlAuthService for SqlAu 阅读全文

摘要：cubestore 已经设计支持基于s3的扩展方案，我们基于s3（s3兼容方案也是可以的）可以扩展我们的服务 官方参考扩展 一张参考图 基于s3的扩展 说明 对于s3兼容存储的支持目前我发起了一个pr，等待官方的合并，目前测试还不错，可以使用 参考资料 https://cube.dev/blog/i 阅读全文

摘要：cube.js 的预聚合是一个很强大的功能，我们看到官方也提供了相关的sql 我们可以检查是否可以使用预聚合 参考方法 我们可以基于api 以及页面（页面也是利用了api）http://localhost:4000/cubejs-api/v1/sql?query= 参考效果 api 效果 页面 说明 阅读全文

摘要：官方的建议，推荐的使用方法是rollup类型的，直接基于originalSql的存在时间类型的问题（date类型并不是所有） 参考资料 https://cube.dev/docs/pre-aggregations#rolluphttps://github.com/cube-js/cube.js/is 阅读全文

摘要：目前cubestore 进行时间的处理是有点问题的（主要是依赖的DataFusion） 现象 参考日志 Error: Error: Internal: Error during planning: Coercion from [Utf8, Utf8] to the signature Exact([ 阅读全文

摘要：转自:https://hasurahq.medium.com/building-a-graphql-to-sql-compiler-on-postgres-ms-sql-and-mysql-103dc99acec0 The release of Hasura 2.0 included one of 阅读全文

摘要：目前已经构建了一个支持minio的cubestore 镜像dalongrong/cubestore 参考使用 docker-compose 文件 version: "3" services: postgres: image: postgres:12.2 environment: - POSTGRES 阅读全文

摘要：支持s3是cubestore 一个很不错的特性，可以提高系统的扩展性 参考修改 主要是添加endpoint 以及配置使用path格式请求 s3.rs impl S3RemoteFs { pub fn new( dir: PathBuf, region: String, endpoint:String 阅读全文

摘要：通过尝试运行cubestore 发现了一个问题，以下是一些整理 共享存储问题 如果注意查看官方文档以及docker-compose 环境会发现都是挂载了同一个数据卷，这个很重要，目前官方没说明通过实践发现这个是必须的（使用blob 存储会好些，s3.。。） 参考配置 目前官方对于共享配置提供了完整的 阅读全文

摘要：官方提供了docker-compose 的运行模式 环境准备 docker-compose 文件 version: "3" services: cubestore_router: restart: always image: cubejs/cubestore:latest environment: 阅读全文

摘要：使用到的技术 parquet，apache arrow，以及datafusion 参考机制 参考使用模式 传统 基于cubestore 存储模式 支持本地存储以及云模式（s3.。。） 工作机制 一个router 处理请求，管理数据库的元数据构建查询计划以及调度执行 多个worker节并行进行数据预热 阅读全文