03 2021 档案

opendistro elasticsearch cube.js driver 开发说明
摘要:driver 的开发参考了官方elasticsearch 驱动,但是因为默认sql plugin 对于sql 函数支持的问题,部分功能是不支持的(时间函数是一个问题) 参考代码 代码结构 driver 开发说明 参考了官方的,同时集成了方言 static dialectClass() { retur 阅读全文

posted @ 2021-03-31 23:39 荣锋亮 阅读(245) 评论(0) 推荐(0) 编辑

flatbuffers 代码集成
摘要:参考上次的操作,因为默认的不是nodejs 模块友好的,使用了typescript 同时集成了代码 schema union HttpCommand { HttpQuery, HttpResultSet, HttpError } table HttpMessage { message_id: uin 阅读全文

posted @ 2021-03-28 23:06 荣锋亮 阅读(202) 评论(0) 推荐(0) 编辑

flatbuffers 试用
摘要:安装cli 编译器 brew install flatbuffers cli 命令 flatc: error: unknown commandline argument: --help Usage: flatc [OPTION]... FILE... [-- FILE...] --binary -b 阅读全文

posted @ 2021-03-28 19:38 荣锋亮 阅读(499) 评论(0) 推荐(0) 编辑

flatbuffers 谷歌开源的内存高效的序列化库
摘要:flatbuffers 支持的特性 可以直接访问数据而不用进行解析以及拆包 内存高效 灵活 较小的代码生成 强类型 方便使用 跨平台 与protoco buffers 的比较 主要区别在于FlatBuffers不需要解析/解包步骤即可访问数据,而通常需要结合每个对象的内存分配,然后才能访问数据。该代 阅读全文

posted @ 2021-03-28 18:47 荣锋亮 阅读(243) 评论(0) 推荐(0) 编辑

filodb 分布式prometheus 时序数据库
摘要:filodb 是基于内存的,prometheus 兼容,多schema支持的时序以及事件操作db 适合的场景 事实metrics 存储查询,dashboard 可视化 分布式追踪 低延时即时应用metrics debug 不适合的场景 事物操作频繁&&面向更新的流程 olap 分析 参考资料 htt 阅读全文

posted @ 2021-03-27 18:24 荣锋亮 阅读(184) 评论(0) 推荐(0) 编辑

cube.js 一些预聚合分区新特性
摘要:主要介绍cube.js 支持的一些rollup 分区特性 基于时间的 time 分区 参考 cube(`Orders`, { sql: `select * from orders`, //... preAggregations: { categoryAndDate: { type: `rollup` 阅读全文

posted @ 2021-03-27 00:04 荣锋亮 阅读(111) 评论(0) 推荐(0) 编辑

使用外部db 加速dremio 查询
摘要:官方默认的实现是基于rest api 的,尽管可以开启数据反射提升查询速度,但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显,失去了使用dremio 的价值了 基于cube.js 预聚合处理(使用外部预聚合) 基于外部预聚合的解决方 阅读全文

posted @ 2021-03-26 23:30 荣锋亮 阅读(221) 评论(0) 推荐(0) 编辑

开发一个cube.js cratedb driver
摘要:核心还是参考了官方的说明以及pg,因为cratedb driver 核心就是一个关于时间处理的 核心代码 删除以下 // await client.query(`SET TIME ZONE '${this.config.storeTimezone || 'UTC'}'`); 包装处理 为了方便,自定 阅读全文

posted @ 2021-03-26 23:16 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑

dremio 时间操作函数
摘要:时间操作函数在sql中是一个比较常见的功能,官方是有一些介绍,但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档 说明 部分函数可能drill 包含,但是dremio 没有,这个需要对比下官方文档 参考资料 https://drill.apache.org/docs/date 阅读全文

posted @ 2021-03-26 19:34 荣锋亮 阅读(312) 评论(0) 推荐(0) 编辑

authelia web sso 解决方案
摘要:参考架构 参考资料 https://github.com/authelia/autheliahttps://www.authelia.com/ 阅读全文

posted @ 2021-03-26 19:33 荣锋亮 阅读(955) 评论(0) 推荐(0) 编辑

dremio sql server 出现无法绑定由多个部分组成的标识符的解决方法
摘要:比如怪异的一个问题,通过分析job 的执行情况发现都是正常的,但是经过调整之后发现属于解析的问题解决方法,可以通过在配置sql server 数据源的时候配置database 解决(就是强制指定了数据库) 问题现象 参考界面 阅读全文

posted @ 2021-03-26 19:32 荣锋亮 阅读(517) 评论(0) 推荐(0) 编辑

cratedb 4.5 企业特性可以免费使用了
摘要:4.5 测试版本昨天发布了,好多新特性,企业版本的特性也免费了,可以直接体验下 参考docker-compose 运行 version: "3" services: cratedb: image: crate/crate:4.5.0 ports: - 4200:4200 - 5432:5432 参考 阅读全文

posted @ 2021-03-26 19:29 荣锋亮 阅读(273) 评论(0) 推荐(0) 编辑

cube.js 新版本cubestore 禁用
摘要:最近几个版本的cube.js 默认会安装cube-store ,但是会有一个问题就是cube sotre 下载比较慢,而且很多是否我们暂时用不到 禁用方法 通过环境变量 CUBESTORE_SKIP_POST_INSTALL=true 参考资料 https://github.com/cube-js/ 阅读全文

posted @ 2021-03-26 19:24 荣锋亮 阅读(137) 评论(0) 推荐(0) 编辑

spring-native 编译spring 应用为graalvm native 镜像
摘要:spring-native beta 已经可以通过start.spring.io 试用了,基于graalvm native image 运行spring 就很方便了具体可以参考一下链接 参考资料 https://github.com/spring-projects-experimental/spri 阅读全文

posted @ 2021-03-14 23:50 荣锋亮 阅读(690) 评论(0) 推荐(0) 编辑

streamsets tar 模式启动
摘要:参考步骤 下载 下载需要注册账户,注册就可以了 配置 基于3.21 解压软件包 tar xf streamsets-datacollector-all-3.21.0.tgz -C /opt/streamsets-datacollector 复制 service cp systemd/sdc.serv 阅读全文

posted @ 2021-03-12 22:58 荣锋亮 阅读(258) 评论(0) 推荐(0) 编辑

streamset data collector 新注册机制
摘要:streamset data collector 从3.15x开始下载是需要注册的,但是可以无限使用,这个还是很不错(主要还是因为云模式影响的)默认的登陆默认应该很早就有些变动了,默认会使用oauth,但是我们可以配置基于ldap以及file 的,但是还是需要注册码的 配置参考 https://st 阅读全文

posted @ 2021-03-09 23:06 荣锋亮 阅读(1806) 评论(0) 推荐(0) 编辑

pyroscope 参考使用
摘要:基于golang 运行 运行server brew install pyroscope-io/brew/pyroscope pyroscope server golang 代码 package main import ( "github.com/gin-gonic/gin" "github.com/ 阅读全文

posted @ 2021-03-04 21:43 荣锋亮 阅读(902) 评论(0) 推荐(0) 编辑

pyroscope 很不错的基于golang 的火焰图分析工具
摘要:参考部署架构 此图同时也是工作原理图 说明 pyroscope 的设计还是很不错的,而且页面效果也很不错,是一个基于火焰图分析工具的利器,官方文档提示还会有其他功能的添加 参考资料 https://github.com/pyroscope-io/pyroscope 阅读全文

posted @ 2021-03-04 21:30 荣锋亮 阅读(622) 评论(0) 推荐(0) 编辑

dremio 14 版本发布&&新的官方文档页面
摘要:dremio 14已经发布了,同时也提升了官方文档,对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了(sql server 乱码,mysql 5.3 之前的版本乱码) 说明 14 版本的源码暂时还没有开放出来,下载了以前版本解压发现mysql 版本依赖的驱动还是老的(升级新的乱 阅读全文

posted @ 2021-03-03 08:04 荣锋亮 阅读(227) 评论(0) 推荐(0) 编辑

sijms/go-ora 1.0 发布了,使用buffer提升了系统的性能
摘要:基于buffer的改进,提升了系统的查询性能,经过测试还是比较明显的对于需要使用golang 链接oracle 的话,已经是一个很不错的选择了,同时prometheus 的exporter 性能测试,提升也是很大的,可以参考https://github.com/rongfengliang/oracl 阅读全文

posted @ 2021-03-02 20:19 荣锋亮 阅读(177) 评论(0) 推荐(0) 编辑

导航