荣锋亮 - 博客园

jcsabin FilteredAdapter 逻辑处理问题

摘要： jcasbin 默认的Enforcer 构造函数在处理FilteredAdapter的时候有些问题（造成的问题是运行正常，但是过程有问题）原有参考代码 public Enforcer(Model m, Adapter adapter) { this.adapter = adapter; this. 阅读全文

posted @ 2021-06-13 09:26 荣锋亮阅读(177) 评论(0) 推荐(0) 编辑

jcasbin redis watcher 一些修改

摘要：具体变动可以参考源码，也是基于官方的redis watcher 进行的修改具体变动支持redis 包含密码的链接（很简单暴露jedispool就可以了）支持redis channel 回调channel 名称暴露（方便控制不同租户以及多实例的处理，但是还是有写缺陷的，应该提供一个独立通知暴露点阅读全文

posted @ 2021-06-11 22:54 荣锋亮阅读(268) 评论(0) 推荐(0) 编辑

cube.js 0.27.31 一些新特性

摘要：今天cube.js 发布了0.27.31 版本，提供了以下特性变动 playground 支持query tab，方便使用queryTransformer 变动为了 queryRewrite（目前兼容）这个名称看着更加合理了预聚合推荐处理（尤其是大量数据加载的时候）这个目前cubestore 还是阅读全文

posted @ 2021-06-11 22:34 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

sdkman Stop! maven is not a valid candidate 类似问题解决

摘要：为了方便jdk 以及相关依赖的管理，我都是使用sdkman 管理的，但是大家可能会碰到 Stop! maven is not a valid candidate 类似的问题解决方法注意执行之后还需要开启新的终端，不然会不生效的 sdk flush candidates 参考资料 https:// 阅读全文

posted @ 2021-06-06 22:31 荣锋亮阅读(445) 评论(0) 推荐(0) 编辑

lakefs 类似git 的文件对象存储

摘要： lakefs 是基于golang编写的兼容git 的对象存储特性包含了git 的能力，同时方便集成数据ci/cd，同时可以方便的和现有的数据技术栈集成使用基于docker-compose运行 docker-compose 文件 version: '3' services: lakefs: i 阅读全文

posted @ 2021-06-06 09:42 荣锋亮阅读(1385) 评论(0) 推荐(0) 编辑

readme.so docker 镜像

摘要： readme.so 官方是提供了docker 构建的，搜索了下发现暂时还没有docker镜像就自己搞了一个参考使用 docker run -d -p 3000:3000 dalongrong/readme.so 效果说明已经推送docker官方了，可以直接使用参考资料 https://git 阅读全文

posted @ 2021-06-06 00:13 荣锋亮阅读(201) 评论(0) 推荐(0) 编辑

使用 readme.so创建 readme文件

摘要： readme.so 是一个web网站，可以用来方便的生成标准的readme 文件是一个很值得使用的工具（而且开源）参考效果参考资料 https://readme.so/https://github.com/octokatherine/readme.so 阅读全文

posted @ 2021-06-06 00:00 荣锋亮阅读(311) 评论(0) 推荐(0) 编辑

使用 Delta Sharing 协议进行数据共享

摘要： Delta Sharing 是delta 团队提出的数据共享方案，发布时间不是很长(看github 的信息不到一个月)，但是理念是很不错的提供了一个开放安全的进行数据共享的协议，同时官方也提供了一个server的实现参考玩法说明 Delta Sharing 是基于rest api 提供服务的，目阅读全文

posted @ 2021-06-04 00:37 荣锋亮阅读(326) 评论(0) 推荐(0) 编辑

dremio 16 升级问题

摘要： dremio 16 很早就发布了，今天打算升级下，但是碰到了一个意想不到的问题，驱动兼容问题问题描述因为dremio 16 开始，默认官方自己保证的datasource支持了ide时间处理，所以大部分以前开发的驱动运行是有问题的（目前测试16之前的基本都应该会有问题，出过官方的driver）问阅读全文

posted @ 2021-06-04 00:12 荣锋亮阅读(136) 评论(0) 推荐(0) 编辑

graylog 4.0 运行

摘要： graylog 4.0 的新特性还是比较多的，比较事件通知的处理上更明确了，新的界面，同时支持es 7 以下是一个简单的docker-compose 运行环境说明,可以体验新版本的特性 docker-compose 文件 version: '2' services: mongodb: image: 阅读全文

posted @ 2021-05-30 18:35 荣锋亮阅读(802) 评论(0) 推荐(0) 编辑

supabase 开源firebase 可选工具

摘要：参考架构使用场景实时api，自动api 生成，集成用户登陆，注册服务说明 supabase 是一个很不错的平台，集成了好多开源的产品，当然supabase也开源可好多开源工具，都是很不错的，当然当前还没有ga 参考资料 https://github.com/supabase/supabaseh 阅读全文

posted @ 2021-05-29 11:47 荣锋亮阅读(1642) 评论(1) 推荐(0) 编辑

cube.js 最新playground 说明

摘要：最新版本的playground 添加了支持having 分组处理,实际上以前也是支持的，只是界面没有，先版本的直接包含了，我们可以直接使用说明官方目前也在进行一个新版本playground 的开发（内部调研）估计很快也会发布了，新版本的界面以及效果很完善了参考资料 https://github 阅读全文

posted @ 2021-05-29 11:04 荣锋亮阅读(64) 评论(0) 推荐(0) 编辑

cube.js + dorisdb进行数据服务开发

摘要：以下是关于cube.js 与dorisdb 集成的一些参考玩法，通过测试还是很不错的 dorisdb 参考图数据集成模式参考集成参考使用图 cube.js 配置 # Cube.js environment variables: https://cube.dev/docs/reference/e 阅读全文

posted @ 2021-05-25 19:47 荣锋亮阅读(352) 评论(0) 推荐(0) 编辑

unionfs 组合文件npm包参考使用

摘要： unionfs 是一个灵活强大的组合fs npm 包，可以方便的进行多fs 实现的组合，比如基于内存的fs 与本地fs 组合实现强大的 npm 扩展以及配置管理。。。参考代码 package.json { "name": "mem-fs-app", "version": "1.0.0", "mai 阅读全文

posted @ 2021-05-24 23:01 荣锋亮阅读(143) 评论(0) 推荐(0) 编辑

cube.js api header 参数传递

摘要：日常基于自定义header 进行一些控制是一个比较常见的需求，cube.js 的playground 可能没有此功能，但是cube.js client sdk 支持实际上自己进行api 请求，包含header 也是可以的，就是普通的header处理使用方法 header 处理可以在cube.j 阅读全文

posted @ 2021-05-24 22:57 荣锋亮阅读(130) 评论(0) 推荐(0) 编辑

nodejs 几个不错的fs 实现

摘要：使用通用模拟文件系统，我们可以规避不同存储模型，可以提供系统的灵活性，以下是几个不错的参考，使用中可以参考说明类似的实现是比较多的，这里主要说明关于node的，实际上java 以及golang 都有好多类似的实现，也可以参考我以下写过关于golang 的参考资料 https://github. 阅读全文

posted @ 2021-05-23 17:29 荣锋亮阅读(97) 评论(0) 推荐(0) 编辑

cube.js s3 filerepository 支持特定租户npm schema 加载

摘要：场景很简单，实际我们多租户的场景，数据是需要拆分开的，如果就有npm进行schema 的发布管理会存在不同项目，或者不同租户级别的 schema是不同的使用参考图简单原理因为s3 filerepository 是基于s3 的bucket 以及prefix 区分的，我们可以基于参考的配置参数解决阅读全文

posted @ 2021-05-23 17:15 荣锋亮阅读(106) 评论(0) 推荐(0) 编辑

cube.js 最新版本一些变动

摘要：最近几次cube.js 的变动还是提供了比较多的特性的，一些是一个简单的整理特性 playground 支持分组操作 cubestore 更新依赖的datafusion（支持更多的特性）以及处理了import 完成之后才能执行查询添加配置检查（严模式） bug 修复外部预聚合的时候优化了数据阅读全文

posted @ 2021-05-19 23:10 荣锋亮阅读(142) 评论(0) 推荐(0) 编辑

新版本浏览器跨站cookie 获取问题

摘要：基于react 单页面开发的系统，嵌入到一个iframe 系统中（不同域名）出现了cookie 无法写入的问题实际上这个是新版本chrome 以及浏览器厂商协定的，核心就是cookie 不安全，我们要限制不安全的访问，解决方法就是有一套新的规则，参考规则修改系统就好了跨站cookie 获取问题阅读全文

posted @ 2021-05-19 12:41 荣锋亮阅读(613) 评论(0) 推荐(0) 编辑

cube.js 响应内容压缩

摘要：安装依赖 yarn add node-zopfli-es iltorb shrink-ray-current 配置cube.js 定义一个通用的模块 index.js const shrinkRay = require('shrink-ray-current'); module.exports = 阅读全文

posted @ 2021-05-18 12:56 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

cube.js schema 存储的几种推荐模式说明

摘要：参考图推荐说明优先推荐git，官方的cloud 也是git（应该基于git api，同时也可以方便的管理version，基于git branch 的commitid。。。） s3 方便集中式存储（同时合理的也可以利用s3的多版本机制，最好结合元数据描述处理版本以及文件关联）基于local fs 阅读全文

posted @ 2021-05-16 23:55 荣锋亮阅读(121) 评论(0) 推荐(0) 编辑

apostrophe 基于Nunjucks+mongo 的cms 系统

摘要： apostrophe的设计包含了很多模块，设计都是可扩展的（基于node 模块），灵活强大以下是一个参考的demo 项目结构说明官方也提供了比较完整的文档，上手起来很简单参考资料 https://github.com/apostrophecms/apostrophe/ 阅读全文

posted @ 2021-05-16 18:12 荣锋亮阅读(108) 评论(0) 推荐(0) 编辑

tera rust 的jinja2 模版引擎

摘要： tera 是借鉴了jinja2的rust 模版引擎，使用简单，强大参考使用项目结构 main.rs use tera::{Tera,Context}; fn main() { let tera = match Tera::new("templates/**/*.html") { Ok(t) => 阅读全文

posted @ 2021-05-16 17:50 荣锋亮阅读(1024) 评论(0) 推荐(0) 编辑

liquidjs 兼容shopify liquid 的纯js 模板引擎

摘要： liquidjs 是兼容shopify liquid 的纯js 模板引擎，同时官方文档也比较完整支持的特性安全渲染（没有eval 以及Function 使用） shopify 兼容零依赖 ts 支持参考使用 app.js const { Liquid } = require('liquidj 阅读全文

posted @ 2021-05-16 10:03 荣锋亮阅读(723) 评论(0) 推荐(0) 编辑

tus 参考断点续传协议

摘要： tus 是一个参考的断点续传协议，同时也包含了好多客户端实现方案，很值得参考学习下说明 tus是一个面向http 的断点续传协议 https://github.com/tus/tusd https://tus.io/ 阅读全文

posted @ 2021-05-16 00:20 荣锋亮阅读(750) 评论(0) 推荐(1) 编辑

nunjucks jinja2 启发的nodejs 模板引擎

摘要： nunjucks 是 jinja2 启发的nodejs 模板引擎支持的特性类似jinja2强大的支持快速可扩展支持node 以及浏览器参说明 nunjucks 的功能还是很强大的，是一个值得使用的nodejs 模板引擎参考资料 https://mozilla.github.io/nun 阅读全文

posted @ 2021-05-15 22:29 荣锋亮阅读(179) 评论(0) 推荐(0) 编辑

使用jinja 模板引擎生成cube.js schema 文件

摘要：实际我们进行cube.js 的集成schema 是一个比较重要的东西，官方的playground 是提供了一个自己的脚手架，但是基于代码集成就需要我们自己搞定了（比如java），解决方法很简单我们可以基于模板引擎，以下是基于jinja模板引擎的demo（java 版本的工具）项目准备 pom. 阅读全文

posted @ 2021-05-15 19:21 荣锋亮阅读(177) 评论(0) 推荐(0) 编辑

cube.js 严模式校验cube.js 文件

摘要：在最近cube.js 的发布版本中官方开启了严格的cube.js 检查，是好事，同时也是不好的事情因为0.27.11 发布的版本因为一些校验没添加上，造成了自定义驱动的问题，目前官方已经修复了参考资料 https://github.com/cube-js/cube.js/releases/tag/ 阅读全文

posted @ 2021-05-14 23:29 荣锋亮阅读(75) 评论(0) 推荐(0) 编辑

cube.js预聚合对于大数据量处理的问题

摘要： cube.js 的预聚合是一个很不错的功能，但是目前是有一些问题的，比如我们包含了大量的数据（几十完，上百万）目前官方相关的解决方法数据拆分基于文件模式的文件处理（比如cubestore支持csv格式的）基于stream模式的数据处理（目前官方也比较推荐的模式）一些说明目前方案都不太好，阅读全文

posted @ 2021-05-14 23:06 荣锋亮阅读(200) 评论(0) 推荐(0) 编辑

cubestore 配置

摘要：以下是官方关于cubestore 配置的说明，我们可以用来参考部署集群（router以及woker）参考配置参考资料 https://cube.dev/docs/caching/running-in-productionhttps://cube.dev/docs/reference/enviro 阅读全文

posted @ 2021-05-10 22:01 荣锋亮阅读(194) 评论(0) 推荐(0) 编辑

构建自己的cube.js playground

摘要： cube.js 的playground 是可以修改的（开源，自定义），但是因为有依赖，所以很多时候直接使用是不行的解决方法使用npm 的shrinkwrap进行依赖的改写使用yarn 具体与npm 类似自己编译一个版本，使用私服进行替换自己编译playground 添加一个自己的静态web 阅读全文

posted @ 2021-05-09 11:19 荣锋亮阅读(194) 评论(0) 推荐(0) 编辑

nginx service-mesh ga了

摘要：官方参考集成方案参考资料 https://www.nginx.com/blog/how-to-choose-a-service-meshhttps://www.nginx.com/products/nginx-service-mesh/ 阅读全文

posted @ 2021-05-07 23:47 荣锋亮阅读(121) 评论(0) 推荐(0) 编辑

cubestore driver 添加auth认证

摘要：昨天有说明关于mysql协议支持auth的，今天说明下driver支持auth 的方法（已经支持了，只是代码处理需要调整下） cubestore 源码修改添加auth支持基于环境变量进行是否进行auth支持的判断 CUBESTORE_AUTH_ENABLE=1 使用，默认没有配置的就不使用 #[ 阅读全文

posted @ 2021-05-07 23:13 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

cubestore 添加auth 认证

摘要：实际上官方支持auth 的认证的，只是模式为None,我们可以自定义自己的一个auth，以下主要说明下关于mysql 协议的，因为特殊性 http 走的是websocket（后期添加）参考修改的代码 auth #[async_trait] impl SqlAuthService for SqlAu 阅读全文

posted @ 2021-05-06 22:51 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

基于s3 扩展cubestore

摘要： cubestore 已经设计支持基于s3的扩展方案，我们基于s3（s3兼容方案也是可以的）可以扩展我们的服务官方参考扩展一张参考图基于s3的扩展说明对于s3兼容存储的支持目前我发起了一个pr，等待官方的合并，目前测试还不错，可以使用参考资料 https://cube.dev/blog/i 阅读全文

posted @ 2021-05-06 21:25 荣锋亮阅读(88) 评论(0) 推荐(0) 编辑

cube.js 预聚合检查

摘要： cube.js 的预聚合是一个很强大的功能，我们看到官方也提供了相关的sql 我们可以检查是否可以使用预聚合参考方法我们可以基于api 以及页面（页面也是利用了api）http://localhost:4000/cubejs-api/v1/sql?query= 参考效果 api 效果页面说明阅读全文

posted @ 2021-05-05 11:47 荣锋亮阅读(115) 评论(0) 推荐(0) 编辑

cube.js 集成cubestore 时间格式问题的一些说明

摘要：官方的建议，推荐的使用方法是rollup类型的，直接基于originalSql的存在时间类型的问题（date类型并不是所有）参考资料 https://cube.dev/docs/pre-aggregations#rolluphttps://github.com/cube-js/cube.js/is 阅读全文

posted @ 2021-05-05 11:40 荣锋亮阅读(67) 评论(0) 推荐(0) 编辑

cube.js 集成cubestore 时间格式问题

摘要：目前cubestore 进行时间的处理是有点问题的（主要是依赖的DataFusion）现象参考日志 Error: Error: Internal: Error during planning: Coercion from [Utf8, Utf8] to the signature Exact([ 阅读全文

posted @ 2021-05-05 10:54 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

Building a GraphQL to SQL Compiler on Postgres, MS SQL and MySQL

摘要：转自:https://hasurahq.medium.com/building-a-graphql-to-sql-compiler-on-postgres-ms-sql-and-mysql-103dc99acec0 The release of Hasura 2.0 included one of 阅读全文

posted @ 2021-05-03 20:40 荣锋亮阅读(200) 评论(0) 推荐(0) 编辑

支持minio cubestore docker 镜像

摘要：目前已经构建了一个支持minio的cubestore 镜像dalongrong/cubestore 参考使用 docker-compose 文件 version: "3" services: postgres: image: postgres:12.2 environment: - POSTGRES 阅读全文

posted @ 2021-05-02 01:21 荣锋亮阅读(138) 评论(0) 推荐(0) 编辑

导航

公告