荣锋亮 - 博客园

cube.js cube store minio 集成

摘要： cube store 很早就已经支持minio s3 了，以下是一个测试，以及数据查看运行 docker-compose version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" en 阅读全文

posted @ 2022-07-29 22:54 荣锋亮阅读(145) 评论(0) 推荐(0) 编辑

cube.js 即将使用cube store 替换redis

摘要：随着发着cube store 的能力已经很强大了，官方目前计划使用cube store 替换redis cube.js 内存查询参考官方对于redis 的说明官方觉得redis 的数据接口以及对于进行数据处理的复杂（核心是原子性事物处理），而且对于部署来说cube 需要保持简单（当前cube 的阅读全文

posted @ 2022-07-29 20:51 荣锋亮阅读(155) 评论(0) 推荐(0) 编辑

一次 jenkins 升级造成git clone 代码异常问题解决

摘要： jenkins 从2.360 升级到2.361 出现了如下问题（以前构建一直没有问题）问题日志参考如下 Verifying host key using known hosts file, will automatically accept unseen keys > /usr/bin/git 阅读全文

posted @ 2022-07-29 13:16 荣锋亮阅读(2423) 评论(1) 推荐(1) 编辑

graylog server 模块说明一入口简单说明

摘要：通过graylog 的入口我们可以了解到graylog 的运行机制入口代码 graylog2-server/src/main/java/org/graylog2/bootstrap/Main.java 简单说明入口出基于了spi 查找开发的模块参考代码 public static void m 阅读全文

posted @ 2022-07-24 22:56 荣锋亮阅读(290) 评论(0) 推荐(0) 编辑

pmm 最近的一些变动

摘要：好久没太关注pmm了，看了下发现包含了不少新特性架构变动从下图可以看出，pmm 也支持其他服务的监控了，比如server，其他服务（可以保留prometheus 或者openmetrics 兼容协议的）从官方介绍可以看到haproxy，node 。。。。都是可以支持了 pmm server 基阅读全文

posted @ 2022-07-24 21:44 荣锋亮阅读(125) 评论(0) 推荐(0) 编辑

coroot-pg-agent 专注性能的pg promtheus exporter

摘要：尽管已经有不少pg 的prometheus exporter 了，但是coroot-pg-agent 是关注与查询性能统计的还是很支持使用的pmm 也是支持pg 的，同时基于prometheus exporter 以及qan 进行处理说明 coroot-pg-agent 的思路还是值得学习借鉴的，阅读全文

posted @ 2022-07-24 21:21 荣锋亮阅读(77) 评论(0) 推荐(0) 编辑

jmte 模版引擎

摘要： jmte 是一个简单，但是高效的模版引擎，graylog 对于通知的处理就使用了此模版引擎，使用简单，而且比较灵活参考使用流程创建引擎，注册类型渲染（不是必须的），使用tranform 进行渲染处理参考代码 MyRenderDemo public class MyRenderDemo { s 阅读全文

posted @ 2022-07-24 16:05 荣锋亮阅读(189) 评论(0) 推荐(0) 编辑

tauri 新的桌面应用开发模式

摘要： tauri 是基于rust 以及webkit 开发桌面应用的框架特性高性能构建的软件包小安全跨平台 github action 集成核心能力（文件系统文档，原生通知）自更新 sidecar （可以集成其他二进制包）事件驱动的集成（frontend 与backend core）参考阅读全文

posted @ 2022-07-24 10:53 荣锋亮阅读(1306) 评论(0) 推荐(0) 编辑

odbc 驱动开发的一些资料

摘要： dremio 以前版本的odbc 当前是已经不支持直接下载了，早期版本的odbc 是基于了drill 的odbc 驱动，利用了SimbaEngine sdk以下是整理的一些资料可以参考如何开发odbc driver,magnitude 公司提供了一系列的文章可以参考，clickhouse 的odbc 阅读全文

posted @ 2022-07-23 13:25 荣锋亮阅读(120) 评论(0) 推荐(0) 编辑

spring boot jdbctemplate queryforstream 使用问题

摘要：开发一个功能为了避免内存问题，使用了 jdbctemplate queryforstream，同时日常中会使用链接池，运行一段时间会出现链接超时的问题参考示例代码 @RestController public class Api { @Autowired private JdbcTemplate 阅读全文

posted @ 2022-07-23 12:25 荣锋亮阅读(926) 评论(0) 推荐(0) 编辑

dremio odbc 驱动包下载说明

摘要： dremio 就在5月底左右的时候，对于odbc 驱动停止了下载，目前在dremio 社区网站有不大好人员反馈了，总的来说是很不好对于数据处理领域基于python （会使用到odbc）是不少的，而且问题也不少，就看后边官方如何解决了，我整理了一些自己已经下载好的driver，同时放到github 上阅读全文

posted @ 2022-07-22 23:58 荣锋亮阅读(105) 评论(0) 推荐(0) 编辑

graylog 源码结构&构建简单说明

摘要： graylog 的源码属于一个单体系统，构建比较符合maven 构建系统，包含了web 以及server backend 模块，一些一些其他依赖模块 web 构建使用了frontend-maven 插件，同时为了生产deb 以及rpm 也使用了相关的maven 插件，对于整体的打包使用了maven- 阅读全文

posted @ 2022-07-20 21:53 荣锋亮阅读(371) 评论(0) 推荐(0) 编辑

jprofiler 提供的几个方便工具

摘要： jprofiler 不只是可以在启动时添加agent信息，运行时态也是可以了，官方提供了不少工具几个有用的工具 jpenable 可以jprofiler 的进程附加，可以方便jprofiler gui 工具链接 jpdump heap 快照工具，可以保存heap 快照信息 jpcontroller 阅读全文

posted @ 2022-07-19 21:24 荣锋亮阅读(104) 评论(0) 推荐(0) 编辑

通过graylog output 模式进行graylog的联邦以及升级处理

摘要：很多时候我们需要将graylog 系统的日志转发到另外一个系统，比如旧版本的到新版本，或者老版本缺少能力，需要使用新版本的能力基于graylog 的output 就可以解决参考方案参考操作注意output 需要使用gelf 协议新版本创建input 老版本配置output 全局级别 str 阅读全文

posted @ 2022-07-19 20:50 荣锋亮阅读(138) 评论(0) 推荐(0) 编辑

记一次graylog 日志不能写入的问题解决

摘要：现象新搭建的graylog，同时已经做了一些简单的性能优化，早期直接基于内置的随机http 消息生成压测，稳定性以及写入还是很不错的，而且都是新机器没啥压力但是经过一段时间之后发现如果有大量的日志写入的时候吞吐上不去，而且过一段时间日志数据会彻底写入不成功了，graylog 集群cpu 使用率比阅读全文

posted @ 2022-07-19 11:43 荣锋亮阅读(764) 评论(0) 推荐(0) 编辑

cube.js 0.30.30 之后自定义driver 开发的一些问题说明

摘要： driverFactory 的变动 driver 解析 public async resolveDriver( context: DriverContext, options?: OrchestratorInitedOptions, ): Promise<BaseDriver> { if (!thi 阅读全文

posted @ 2022-07-17 23:29 荣锋亮阅读(98) 评论(0) 推荐(0) 编辑

dremio InfoSchemaScanCreator 参考调用链

摘要：整理一些关于InfoSchemaScanCreator 请求调用链的，方便记录学习参考调用链信息 stack com.dremio.exec.store.ischema.InfoSchemaScanCreator create ts=2022-07-17 14:50:01;thread_name= 阅读全文

posted @ 2022-07-17 23:04 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

dremio 的InformationSchemaCatalog 服务二

摘要：今天简单说明了下关于InformationSchemaCatalog 服务的介绍，当时介绍的InformationSchemaCatalog 更多属于基础能力（实际上这个类核心还是dremio 内部使用的）对于在bi 工具以及系统使用的，dremio 是通过了独立的存储扩展（dremio 存储扩展阅读全文

posted @ 2022-07-17 19:54 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

dremio 的InformationSchemaCatalog 服务一

摘要： InformationSchemaCatalog 服务实现了模仿information_schema的能力，让我们可以更好的在bi 工具以及其他系统使用接口定义 /** * Facet of the catalog service that provides metadata with an in 阅读全文

posted @ 2022-07-17 12:06 荣锋亮阅读(30) 评论(0) 推荐(0) 编辑

dremio 当前支持的权限

摘要：了解dremio 当前支持的权限，可以让给你我们更好的处理以及学习dremio的安全控制机制数据集权限 alter 对于system，space，source，folder，pds，vds 的操作，包含了add,delete,modify,同时包含了元数据的处理 alter_reflection 阅读全文

posted @ 2022-07-16 23:18 荣锋亮阅读(53) 评论(0) 推荐(0) 编辑

dremio 权限体系

摘要：尽管dremio 的社区版没有提供rbac 以及权限管理的模块能力，但是我们通过官方文档还是可以学到不少东西的，同时也有助于我们可以自己的认证授权模块对象层级 dremio 是基于了继承模型进行权限的处理，比如我们授权的对象，包含了子对象，那个用户也是可以操作子对象的（dremio 称之为scop 阅读全文

posted @ 2022-07-16 23:04 荣锋亮阅读(101) 评论(0) 推荐(0) 编辑

dremio udf 参考调用处理

摘要：以下是基于arthas 生成的调用，可以参考学习使用参考调用 [arthas@1]$ stack com.dremio.exec.planner.sql.handlers.direct.CreateFunctionHandler toResult Press Q or Ctrl+C to abor 阅读全文

posted @ 2022-07-16 12:26 荣锋亮阅读(46) 评论(0) 推荐(0) 编辑

dremio 22 udf 功能

摘要： dremio 22 开始支持了直接基于sql 的udf，很方便，强大，但是目前对于社区版来说智能创建，暂时还不能直接使用目前udf 面向的创建是基于行以及列级别的访问控制创建udf函数 CREATE FUNCTION multiply (x INT, y INT) RETURNS INT RET 阅读全文

posted @ 2022-07-16 12:18 荣锋亮阅读(60) 评论(0) 推荐(0) 编辑

dremio 的一些系统表

摘要： dremio 的一些系统表是比较有用的，比如进行系统反射以及node 信息的查看，同时也便于系统的监控（同时我们也可以基于prometheus 处理）查询命令 SELECT * FROM INFORMATION_SCHEMA."TABLES" 包含的信息(红框部分比较重要，值得学习参考) 对于反射阅读全文

posted @ 2022-07-16 01:14 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

dremio 22 odbc 新特性

摘要：从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统）说明 arrow 的flight sql 可以很大的提升数据查询处理能力，很值得阅读全文

posted @ 2022-07-16 00:25 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

cube.js 0.30.30 配置的一些变动

摘要：好久没关注cube.js 最近0.30.30 有一个比较大的变动就是driverFactory 新配置 driverFactory: (context: DriverContext) => DriverConfig | BaseDriver | Promise<BaseDriver>; 此配置的影响阅读全文

posted @ 2022-07-14 00:15 荣锋亮阅读(46) 评论(0) 推荐(0) 编辑

Nightingale 监控报警平台

摘要： Nightingale 从官方的介绍是企业版的prometheus，从功能上的确是很不错的，我们基本上可以实现基于ui 灵活的管理prometheus 的报警处理参考架构 VictoriaMetrics 集成玩法一种集成玩法主要集成VictoriaMetrics 使用了vmagent，注意同时阅读全文

posted @ 2022-07-11 12:08 荣锋亮阅读(335) 评论(0) 推荐(0) 编辑

基于jprofiler 的一个简单dremio 查询处理学习

摘要：一个dremio 查询简单调用链的说明参考命令 arthas watch watch com.dremio.sabot.exec.fragment.FragmentExecutor$AsyncTaskImpl run '{params, target, returnObj, throwExp}' 阅读全文

posted @ 2022-07-10 19:48 荣锋亮阅读(57) 评论(0) 推荐(0) 编辑

dremio openjdk 11 docker 镜像

摘要： dremio 官方也说明了，已经支持openjdk 11 了，但是默认官方的还是openjdk 8，为了体验jdk11 所以基于官方的搞了一个openjdk11 的镜像，很简单 dockerfile ARG JAVA_IMAGE="openjdk:11-jdk" FROM ${JAVA_IMAGE 阅读全文

posted @ 2022-07-09 22:37 荣锋亮阅读(1212) 评论(0) 推荐(0) 编辑

apache spark conenct 提升spark 能力

摘要： spark 是一个很强大的工具，但是大家可能也会使用比较费事，包含了集群管理，以及多租户管理，所以社区开发了不少基于spark 的扩展，apachekyuubi 就是一个典型提供了多租户以及直接使用sql 进行spark 操作的能力原有spark 集成模式新spark 集成模式说明 apach 阅读全文

posted @ 2022-07-09 20:19 荣锋亮阅读(121) 评论(0) 推荐(0) 编辑

使用jxray分析jvm heap 信息

摘要：很多时候我们的系统jvm 内存涨的比较快我们需要通过一些工具解决，方法还是比较做的比如通过jcmd 或者jprofiler 或者arthas 生成heap 文件，然后就可以使用其他工具分析了 eclipse 的heap 分析工具（mat）以及其他的，同时也会有一些内存异常的提示，jxray 是一阅读全文

posted @ 2022-07-09 19:32 荣锋亮阅读(315) 评论(0) 推荐(0) 编辑

记一次jenkins 升级问题

摘要：问题比较简单，主要是关于jdk 问题的，因为系统的jdk 都是基于rpm 构建的openjdk，而且项目构建需要使用openjdkjenkins 安装也是基于rpm 包的（jdk8），但是因为2.357 必须使用jdk 11 或者17了，但是因为构建节点（slave）使用的jdk8 （必须使用）所以阅读全文

posted @ 2022-07-06 01:10 荣锋亮阅读(580) 评论(0) 推荐(0) 编辑

hasura graphql-engine centos 7 二进制文件

摘要：昨天自己构建了一个简单的hasura graphql-engine centos 7 二进制文件，可以使用参考使用下载 wget https://github.com/rongfengliang/graphql-engine-centos7/releases/download/1.0.0/gra 阅读全文

posted @ 2022-07-06 00:29 荣锋亮阅读(74) 评论(0) 推荐(0) 编辑

hasura graphql-engine 源码构建问题

摘要：基于centos 7 构建安装haskell 构建工具 curl --proto '=https' --tlsv1.2 -sSf https://get-ghcup.haskell.org | sh 依赖包问题 gmp yum install -y gmp-devel pcre yum insta 阅读全文

posted @ 2022-07-04 22:49 荣锋亮阅读(112) 评论(0) 推荐(0) 编辑

使用rocky linux 运行hasura graphql-engine

摘要：主要说明下操作，实际运行比较简单(使用了阿里云的rocky linux ) 准备二进制文件可以参考我以前写的，可以直接使用docker 编译的版本预备安装 pg 对于pg 可以使用rpm包安装 dnf install -y https://download.postgresql.org/pub/ 阅读全文

posted @ 2022-07-04 00:12 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

cossacklabs acra 开源数据库安全套件

摘要： acra是cossacklabs 开源的数据库安全工具，支持数据库的proxy，同时提供了安全处理能力（加密）参考使用模式说明目前cossacklabs acra 支持mysql 以及pg，其他的暂时不支持（理论上可以自己扩展），cossacklabs acra 的源码也是值得学习参考的，尤其阅读全文

posted @ 2022-07-03 20:38 荣锋亮阅读(204) 评论(0) 推荐(0) 编辑

delta lake 2.0 预览版发布

摘要：就在几天前delta lake 2.0 预览版发布了，从功能上来说，官方完全开源了以前一些商业版的特性包含的一些特性 cdf 支持，比较适合数据变动处理 z-order ，可以支持更好的查询过滤处理支持删除列支持动态分片覆盖说明以上只是部分，实际上delta lake 现在已经不依赖spa 阅读全文

posted @ 2022-07-03 19:21 荣锋亮阅读(115) 评论(0) 推荐(0) 编辑

hasura graphql-engine 二进制运行方法说明

摘要： hasura graphql-engine 的运行模式默认是基于容器的，而且还是比较推荐的模式，但是很多时候我们可能需要基于二进制的运行模式以下是方法的参考说明解决方法自己源码构建 hasura graphql-engine 基于haskell 编写，而且新版本依赖不少三方库，构建起来不是很方便阅读全文

posted @ 2022-07-03 18:29 荣锋亮阅读(103) 评论(0) 推荐(0) 编辑

dremio 对于iceberg 的操作支持

摘要：从dremio 22 开始iceberg 已经成为了dremio 标配的ctas 操作了，而且同时也支持直接创建iceberg 表了，此功能整个是很强大支持的操作 create 支持ctas 以及普通的create 操作 ctas create table mys3.demoapp.dalongt 阅读全文

posted @ 2022-07-01 00:41 荣锋亮阅读(177) 评论(0) 推荐(0) 编辑

dremio 22 变动体验

摘要：主要是验证下官方发布 ctas iceberg 成为默认 iceberg dml 操作比如update, 真的比较强大了 sql 自动提示是更加友好了 arrow cache 废弃了支持对于table 添加主键说明以上只是简单的测试，详细的其他功能打开可以测试，目前来说22 版本还是很强大阅读全文

posted @ 2022-06-30 00:50 荣锋亮阅读(46) 评论(0) 推荐(0) 编辑

导航

公告