k6 使用参考
摘要：
以下进行一些k6负载测试工具使用的一些说明 提供负载测试文件 实际上就是一个js文件 参考js 文件格式 // init code export default function() { // vu code } 一些说明 js 文件，可以自己编写，同时也可以基于har 文件生成,k6提供了har 阅读全文
posted @ 2021-04-10 23:29 荣锋亮 阅读(726) 评论(0) 推荐(0) 编辑
dremio 开发测试简单说明
摘要：
目前官方关于如何进行相关开发测试的明确的文档说明，但是我们基于官方提供的测试用例可以基本了解 官方提供的测试用例 sabot/kernel/src/test/java/com/dremio 目录 ├── ArrowDsUtil.java ├── BaseDecimalFunctionTests.ja 阅读全文
posted @ 2021-04-10 23:26 荣锋亮 阅读(235) 评论(0) 推荐(0) 编辑
cube.js prepareCompiler api 试用
摘要：
前边有介绍过prepareCompiler API ,以下是一个项目集成使用简单说明 包装prepareCompiler api 实际上可以不用，但是为了方便使用可以包装一下，比如提供给express 或者类似web 框架 cmd module app.js， 此处的adapter 并不是必须，如果 阅读全文
posted @ 2021-04-10 19:29 荣锋亮 阅读(92) 评论(0) 推荐(0) 编辑
cube.js schema 预编译处理
摘要：
在实际开发中，对于schema 检查是很重要的，不然一个异常的schema 会造成整个系统服务的不可用 参考进行schema预编译的处理 参考做法 自己定义一个，同时使用schema 编译包提供的方法 import { prepareCompiler as originalPrepareCompil 阅读全文
posted @ 2021-04-10 13:50 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑
cube.js driver 开发一些说明
摘要：
以前有写过关于driver 开发的说明，实际上官方对于driver开发还是很不明确的，因为我们进行driver开发 包含了driver 以及query，cube.js 提供了BaseDriver 以及BaseQuery，一般我们开发就是基于这两个类进行 扩展，同时还有一个关于filter 的类（Ba 阅读全文
posted @ 2021-04-10 13:27 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑
cube.js mssql driver 问题
摘要：
目前mssql driver 运行的时候会有以下错误 The multi-part identifier "columns.data_type" could not be bound 原因 需要指定别名 解决方法 MSSqlDriver 重写informationSchemaQuery 方法，我已经 阅读全文
posted @ 2021-04-09 17:01 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑
cube.js s3 FileRepository 新功能
摘要：
为了更好的集成cube.js 多租户的能力，进行了一些调整，支持基于配置参数的s3 schema 访问处理 同时加强了数据桶过滤的支持 核心修改的代码 主要是关于构造函数以及minio链接部分 constructor(config) { const { ...restConfig } = confi 阅读全文
posted @ 2021-04-08 20:23 荣锋亮 阅读(202) 评论(0) 推荐(0) 编辑
包装一个cube.js dremio 的驱动
摘要：
因为默认cube.js dremio 查询1s 延迟的问题，进行了调整（参考了bigquery driver 的模式） 项目代码说明 代码结构 ├── README.md ├── driver │ ├── DremioDriver.js │ ├── DremioQuery.js │ └── inde 阅读全文
posted @ 2021-04-08 20:22 荣锋亮 阅读(92) 评论(0) 推荐(0) 编辑
cube.js checkAuth 问题记录
摘要：
默认cube.js 是基于jwt 进行认证的，当我们没有配置checkAuth 函数的时候，cube.js 的api server 会自动进行jwt 的解码 同时放到securityContext中，但是当我们自己配置了之后就不会自动处理securityContext了 解决方法 自己实现jwt 的 阅读全文
posted @ 2021-04-08 20:21 荣锋亮 阅读(128) 评论(0) 推荐(0) 编辑
npm的package.json中的dependencies版本号
摘要：
今天在碰到cube.js 关于一个版本bug 的问题的时候，发现npm 版本是一个比较重要的概念所以整理下关于npm 依赖版本号的说明 version 必须完全和version一致 >version 必须比version大 >=version 同上 <version 同上<=version 同上 ~ 阅读全文
posted @ 2021-04-07 22:50 荣锋亮 阅读(461) 评论(0) 推荐(0) 编辑
开发一个materialize cube.js driver
摘要：
因为materialize 是兼容pg 协议的（不是100%，但是常用的是兼容的）所以开发一个materialize driver 还是比较简单的 需要解决的问题 因为materialize不支持，删除就可以了statement_timeout 参考代码 修改的代码 // await client. 阅读全文
posted @ 2021-04-07 22:47 荣锋亮 阅读(83) 评论(0) 推荐(0) 编辑
lerna &&yarn 开发流程
摘要：
参考使用流程 独立版本 lerna.json { "packages": [ "packages/*" ], "version": "independent", // 此处比较重要，推荐基于独立版本模式 "npmClient": "yarn", "useWorkspaces": true // 使用 阅读全文
posted @ 2021-04-06 23:24 荣锋亮 阅读(622) 评论(0) 推荐(0) 编辑
haproxy 支持fix 协议
摘要：
haproxy2.4（社区版）支持fix 协议的处理，包含以下特性 lb 多个fix server 加密fix 消息（tls） 校验fix 消息 基于tag 的路由 基于tls 客户端证书的认证 客户端ip 匹配 说明 fix 在金融领域使用的比较多，后边可以尝试下此特性 参考资料 https:// 阅读全文
posted @ 2021-04-05 11:28 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑
dremio arp connector 开发
摘要：
主要是为了实现类似数据联邦的功能的 参考图 代码 package com.dalong.dremio; import com.dremio.common.AutoCloseables; import com.dremio.common.util.CloseableIterator; import c 阅读全文
posted @ 2021-04-05 10:03 荣锋亮 阅读(183) 评论(0) 推荐(0) 编辑
dremio 连接dremio 扩展dremio 集群规模
摘要：
将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力，扩展数据查询以及数据虚拟层的能力 参考图 说明 就是类似一种联邦的模式，dremio 可以串联dremio，核心方法是开发一个dremio 的arp connector，具体的开发方式与cratedb 的模式是一样的 阅读全文
posted @ 2021-04-05 09:13 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑
开发一个dremio cratedb arp connector
摘要：
以前有介绍过如何基于arp模式开发一个dremio cratedb 的connector，但是当时的开发还是有点问题的 以下是一个参考官方jdbc plugin 开发的cratedb connector （支持schema 获取） 参考源码 package com.dremio.exec.store 阅读全文
posted @ 2021-04-05 01:06 荣锋亮 阅读(144) 评论(0) 推荐(0) 编辑
dremio 自定义arp 开发的几个细节
摘要：
官方关于arp的开发说明比较简单，如果需要支持一个兼容jdbc 的数据库开发还是有一些问题需要解决的 标准格式 conf 类 主要包含了关于UI，以及方言类的定义，同时也包含了数据源的管理，schema 的处理也比较重要 参考格式 @SourceType(value = "SNOWFLAKE", l 阅读全文
posted @ 2021-04-04 10:42 荣锋亮 阅读(165) 评论(0) 推荐(0) 编辑
protostuff java 序列化&&proto 编译&&生成器
摘要：
特性 高效-性能以及内存 灵活-支持插件化的格式 场景 rpc 的消息层 数据存储以及cache的存储格式 参考资料 https://github.com/protostuff/protostuffhttps://protostuff.github.io/docs/ 阅读全文
posted @ 2021-04-04 09:42 荣锋亮 阅读(156) 评论(0) 推荐(0) 编辑
dremio 15一些新特性简单说明
摘要：
以下进行一个特性说明 新特性 utf-8编码支持 以前我们需要特殊处理（env 以及函数），现在可以直接查询了（测试可行） 启动清理有异常的物化视图 这个是早期dremio 版本存在的问题（当异常操作的时候，造成加速有问题，自动清理可以解决类似问题，因为依靠定时刷新还是有问题的） join 查询的性 阅读全文
posted @ 2021-04-04 00:46 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑
dremio 15 发布
摘要：
几天前dremio 发布了15，有了好多性能提升以及bug修复，具体可以参考官方文档，后边试用下 参考资料 https://docs.dremio.com/release-notes/1500-release-notes/ 阅读全文
posted @ 2021-04-04 00:37 荣锋亮 阅读(88) 评论(0) 推荐(0) 编辑
cube.js dremio driver基于补偿机制提升查询速度
摘要：
默认cube.js 的dremio driver 在设计的时候，为了进行状态处理的请求使用了循环处理，同时添加了一个1s的延迟处理 原始参考代码 async query(query, values) { const queryString = applyParams( query, (values 阅读全文
posted @ 2021-04-01 20:49 荣锋亮 阅读(114) 评论(0) 推荐(0) 编辑
opendistro elasticsearch cube.js driver 开发说明
摘要：
driver 的开发参考了官方elasticsearch 驱动，但是因为默认sql plugin 对于sql 函数支持的问题，部分功能是不支持的（时间函数是一个问题） 参考代码 代码结构 driver 开发说明 参考了官方的，同时集成了方言 static dialectClass() { retur 阅读全文
posted @ 2021-03-31 23:39 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑
flatbuffers 代码集成
摘要：
参考上次的操作，因为默认的不是nodejs 模块友好的，使用了typescript 同时集成了代码 schema union HttpCommand { HttpQuery, HttpResultSet, HttpError } table HttpMessage { message_id: uin 阅读全文
posted @ 2021-03-28 23:06 荣锋亮 阅读(194) 评论(0) 推荐(0) 编辑
flatbuffers 试用
摘要：
安装cli 编译器 brew install flatbuffers cli 命令 flatc: error: unknown commandline argument: --help Usage: flatc [OPTION]... FILE... [-- FILE...] --binary -b 阅读全文
posted @ 2021-03-28 19:38 荣锋亮 阅读(475) 评论(0) 推荐(0) 编辑
flatbuffers 谷歌开源的内存高效的序列化库
摘要：
flatbuffers 支持的特性 可以直接访问数据而不用进行解析以及拆包 内存高效 灵活 较小的代码生成 强类型 方便使用 跨平台 与protoco buffers 的比较 主要区别在于FlatBuffers不需要解析/解包步骤即可访问数据，而通常需要结合每个对象的内存分配，然后才能访问数据。该代 阅读全文
posted @ 2021-03-28 18:47 荣锋亮 阅读(230) 评论(0) 推荐(0) 编辑
filodb 分布式prometheus 时序数据库
摘要：
filodb 是基于内存的，prometheus 兼容，多schema支持的时序以及事件操作db 适合的场景 事实metrics 存储查询，dashboard 可视化 分布式追踪 低延时即时应用metrics debug 不适合的场景 事物操作频繁&&面向更新的流程 olap 分析 参考资料 htt 阅读全文
posted @ 2021-03-27 18:24 荣锋亮 阅读(180) 评论(0) 推荐(0) 编辑
cube.js 一些预聚合分区新特性
摘要：
主要介绍cube.js 支持的一些rollup 分区特性 基于时间的 time 分区 参考 cube(`Orders`, { sql: `select * from orders`, //... preAggregations: { categoryAndDate: { type: `rollup` 阅读全文
posted @ 2021-03-27 00:04 荣锋亮 阅读(106) 评论(0) 推荐(0) 编辑
使用外部db 加速dremio 查询
摘要：
官方默认的实现是基于rest api 的，尽管可以开启数据反射提升查询速度，但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显，失去了使用dremio 的价值了 基于cube.js 预聚合处理（使用外部预聚合） 基于外部预聚合的解决方 阅读全文
posted @ 2021-03-26 23:30 荣锋亮 阅读(203) 评论(0) 推荐(0) 编辑
开发一个cube.js cratedb driver
摘要：
核心还是参考了官方的说明以及pg，因为cratedb driver 核心就是一个关于时间处理的 核心代码 删除以下 // await client.query(`SET TIME ZONE '${this.config.storeTimezone || 'UTC'}'`); 包装处理 为了方便，自定 阅读全文
posted @ 2021-03-26 23:16 荣锋亮 阅读(106) 评论(0) 推荐(0) 编辑
dremio 时间操作函数
摘要：
时间操作函数在sql中是一个比较常见的功能，官方是有一些介绍，但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档 说明 部分函数可能drill 包含，但是dremio 没有，这个需要对比下官方文档 参考资料 https://drill.apache.org/docs/date 阅读全文
posted @ 2021-03-26 19:34 荣锋亮 阅读(287) 评论(0) 推荐(0) 编辑
authelia web sso 解决方案
摘要：
参考架构 参考资料 https://github.com/authelia/autheliahttps://www.authelia.com/ 阅读全文
posted @ 2021-03-26 19:33 荣锋亮 阅读(936) 评论(0) 推荐(0) 编辑
dremio sql server 出现无法绑定由多个部分组成的标识符的解决方法
摘要：
比如怪异的一个问题，通过分析job 的执行情况发现都是正常的，但是经过调整之后发现属于解析的问题解决方法，可以通过在配置sql server 数据源的时候配置database 解决（就是强制指定了数据库） 问题现象 参考界面 阅读全文
posted @ 2021-03-26 19:32 荣锋亮 阅读(514) 评论(0) 推荐(0) 编辑
cratedb 4.5 企业特性可以免费使用了
摘要：
4.5 测试版本昨天发布了，好多新特性，企业版本的特性也免费了，可以直接体验下 参考docker-compose 运行 version: "3" services: cratedb: image: crate/crate:4.5.0 ports: - 4200:4200 - 5432:5432 参考 阅读全文
posted @ 2021-03-26 19:29 荣锋亮 阅读(272) 评论(0) 推荐(0) 编辑
cube.js 新版本cubestore 禁用
摘要：
最近几个版本的cube.js 默认会安装cube-store ,但是会有一个问题就是cube sotre 下载比较慢，而且很多是否我们暂时用不到 禁用方法 通过环境变量 CUBESTORE_SKIP_POST_INSTALL=true 参考资料 https://github.com/cube-js/ 阅读全文
posted @ 2021-03-26 19:24 荣锋亮 阅读(132) 评论(0) 推荐(0) 编辑
spring-native 编译spring 应用为graalvm native 镜像
摘要：
spring-native beta 已经可以通过start.spring.io 试用了，基于graalvm native image 运行spring 就很方便了具体可以参考一下链接 参考资料 https://github.com/spring-projects-experimental/spri 阅读全文
posted @ 2021-03-14 23:50 荣锋亮 阅读(689) 评论(0) 推荐(0) 编辑
streamsets tar 模式启动
摘要：
参考步骤 下载 下载需要注册账户,注册就可以了 配置 基于3.21 解压软件包 tar xf streamsets-datacollector-all-3.21.0.tgz -C /opt/streamsets-datacollector 复制 service cp systemd/sdc.serv 阅读全文
posted @ 2021-03-12 22:58 荣锋亮 阅读(255) 评论(0) 推荐(0) 编辑
streamset data collector 新注册机制
摘要：
streamset data collector 从3.15x开始下载是需要注册的，但是可以无限使用，这个还是很不错（主要还是因为云模式影响的）默认的登陆默认应该很早就有些变动了，默认会使用oauth，但是我们可以配置基于ldap以及file 的，但是还是需要注册码的 配置参考 https://st 阅读全文
posted @ 2021-03-09 23:06 荣锋亮 阅读(1767) 评论(0) 推荐(0) 编辑
pyroscope 参考使用
摘要：
基于golang 运行 运行server brew install pyroscope-io/brew/pyroscope pyroscope server golang 代码 package main import ( "github.com/gin-gonic/gin" "github.com/ 阅读全文
posted @ 2021-03-04 21:43 荣锋亮 阅读(895) 评论(0) 推荐(0) 编辑
pyroscope 很不错的基于golang 的火焰图分析工具
摘要：
参考部署架构 此图同时也是工作原理图 说明 pyroscope 的设计还是很不错的，而且页面效果也很不错，是一个基于火焰图分析工具的利器，官方文档提示还会有其他功能的添加 参考资料 https://github.com/pyroscope-io/pyroscope 阅读全文
posted @ 2021-03-04 21:30 荣锋亮 阅读(589) 评论(0) 推荐(0) 编辑
dremio 14 版本发布&&新的官方文档页面
摘要：
dremio 14已经发布了，同时也提升了官方文档，对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了（sql server 乱码，mysql 5.3 之前的版本乱码） 说明 14 版本的源码暂时还没有开放出来，下载了以前版本解压发现mysql 版本依赖的驱动还是老的（升级新的乱 阅读全文
posted @ 2021-03-03 08:04 荣锋亮 阅读(217) 评论(0) 推荐(0) 编辑
