rongfengliang-荣锋亮

摘要：py4j 是基于rpc 模式的python与Java 调用的处理模式，功能还是很强大的，而且pyspark 就是基于此的 参考使用 java 项目 主要提供server 能力 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns= 阅读全文

摘要：就在最近看到dremio flight sql odbc 支持mac 以及linux 了，看了下github 发现odbc 源码也是开源了，很不错，很值得学习下dremio 对于arrow flight sql odbc 的开发以及集成处理，具体项目源码参考链接 参考资料 https://githu 阅读全文

摘要：dremio 的效率还是很高的，已经支持mac 以及linux了， 以前只是支持windows，如果大家可以升级到dremop 22 版本，odbc 的问题就基本没啥问题了 mac 安装效果 驱动的一些信息 可以通过strings 命令看到，包含了grpc 的信息 strings libarrow- 阅读全文

摘要：haproxy dataplaneapi 2.6 包含了一些新特性，还是很不错的 新特性 主要还是关于haproxy 2.6 版本新特性，指令的支持 ring 指令支持 global 配置，global 配置部分，可以全部支持了 default，frontend，backend 关键字能力的支持 h 阅读全文

摘要：cube store 很早就已经支持minio s3 了，以下是一个测试，以及数据查看 运行 docker-compose version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" en 阅读全文

摘要：随着发着cube store 的能力已经很强大了，官方目前计划使用cube store 替换redis cube.js 内存查询参考 官方对于redis 的说明 官方觉得redis 的数据接口以及对于进行数据处理的复杂（核心是原子性事物处理），而且对于部署来说cube 需要保持简单（当前cube 的 阅读全文

摘要：jenkins 从2.360 升级到2.361 出现了如下问题（以前构建一直没有问题） 问题日志 参考如下 Verifying host key using known hosts file, will automatically accept unseen keys > /usr/bin/git 阅读全文

摘要：通过graylog 的入口我们可以了解到graylog 的运行机制 入口代码 graylog2-server/src/main/java/org/graylog2/bootstrap/Main.java 简单说明 入口出基于了spi 查找开发的模块 参考代码 public static void m 阅读全文

摘要：好久没太关注pmm了，看了下发现包含了不少新特性 架构变动 从下图可以看出，pmm 也支持其他服务的监控了，比如server，其他服务（可以保留prometheus 或者openmetrics 兼容协议的）从官方介绍可以看到haproxy，node 。。。。 都是可以支持了 pmm server 基 阅读全文

摘要：尽管已经有不少pg 的prometheus exporter 了，但是coroot-pg-agent 是关注与查询性能统计的还是很支持使用的pmm 也是支持pg 的，同时基于prometheus exporter 以及qan 进行处理 说明 coroot-pg-agent 的思路还是值得学习借鉴的， 阅读全文

摘要：jmte 是一个简单，但是高效的模版引擎，graylog 对于通知的处理就使用了此模版引擎，使用简单，而且比较灵活 参考使用 流程 创建引擎，注册类型渲染（不是必须的），使用tranform 进行渲染处理 参考代码 MyRenderDemo public class MyRenderDemo { s 阅读全文

摘要：tauri 是基于rust 以及webkit 开发桌面应用的框架 特性 高性能 构建的软件包小 安全 跨平台 github action 集成 核心能力 （文件系统文档，原生通知） 自更新 sidecar （可以集成其他二进制包） 事件驱动的集成（frontend 与backend core） 参考 阅读全文

摘要：dremio 以前版本的odbc 当前是已经不支持直接下载了，早期版本的odbc 是基于了drill 的odbc 驱动，利用了SimbaEngine sdk以下是整理的一些资料可以参考如何开发odbc driver,magnitude 公司提供了一系列的文章可以参考，clickhouse 的odbc 阅读全文

摘要：开发一个功能为了避免内存问题，使用了 jdbctemplate queryforstream，同时日常中会使用链接池，运行一段时间 会出现链接超时的问题 参考示例代码 @RestController public class Api { @Autowired private JdbcTemplate 阅读全文

摘要：dremio 就在5月底左右的时候，对于odbc 驱动停止了下载，目前在dremio 社区网站有不大好人员反馈了，总的来说是很不好对于数据处理领域基于python （会使用到odbc）是不少的，而且问题也不少，就看后边官方如何解决了，我整理了一些自己已经下载好的driver，同时放到github 上 阅读全文

摘要：graylog 的源码属于一个单体系统，构建比较符合maven 构建系统，包含了web 以及server backend 模块，一些一些其他依赖模块 web 构建使用了frontend-maven 插件，同时为了生产deb 以及rpm 也使用了相关的maven 插件，对于整体的打包使用了maven- 阅读全文

摘要：jprofiler 不只是可以在启动时添加agent信息，运行时态也是可以了，官方提供了不少工具 几个有用的工具 jpenable 可以jprofiler 的进程附加，可以方便jprofiler gui 工具链接 jpdump heap 快照工具，可以保存heap 快照信息 jpcontroller 阅读全文

摘要：很多时候我们需要将graylog 系统的日志转发到另外一个系统，比如旧版本的到新版本，或者老版本缺少能力，需要使用新版本的能力基于graylog 的output 就可以解决 参考方案 参考操作 注意output 需要使用gelf 协议 新版本创建input 老版本 配置output 全局级别 str 阅读全文

摘要：现象 新搭建的graylog，同时已经做了一些简单的性能优化，早期直接基于内置的随机http 消息生成压测，稳定性以及写入还是很不错的，而且都是新机器没啥压力 但是经过一段时间之后发现如果有大量的日志写入的时候吞吐上不去，而且过一段时间日志数据会彻底写入不成功了，graylog 集群cpu 使用率比 阅读全文

摘要：driverFactory 的变动 driver 解析 public async resolveDriver( context: DriverContext, options?: OrchestratorInitedOptions, ): Promise<BaseDriver> { if (!thi 阅读全文

摘要：整理一些关于InfoSchemaScanCreator 请求调用链的，方便记录学习 参考调用链信息 stack com.dremio.exec.store.ischema.InfoSchemaScanCreator create ts=2022-07-17 14:50:01;thread_name= 阅读全文

摘要：今天简单说明了下关于InformationSchemaCatalog 服务的介绍，当时介绍的InformationSchemaCatalog 更多属于基础能力（实际上这个类核心还是dremio 内部使用的） 对于在bi 工具以及系统使用的，dremio 是通过了独立的存储扩展（dremio 存储扩展 阅读全文

摘要：InformationSchemaCatalog 服务实现了模仿information_schema的能力，让我们可以更好的在bi 工具以及其他系统使用 接口定义 /** * Facet of the catalog service that provides metadata with an in 阅读全文

摘要：了解dremio 当前支持的权限，可以让给你我们更好的处理以及学习dremio的安全控制机制 数据集权限 alter 对于system，space，source，folder，pds，vds 的操作，包含了add,delete,modify,同时包含了元数据的处理 alter_reflection 阅读全文

摘要：尽管dremio 的社区版没有提供rbac 以及权限管理的模块能力，但是我们通过官方文档还是可以学到不少东西的，同时也有助于我们可以自己的认证授权模块 对象层级 dremio 是基于了继承模型进行权限的处理，比如我们授权的对象，包含了子对象，那个用户也是可以操作子对象的（dremio 称之为scop 阅读全文

摘要：以下是基于arthas 生成的调用，可以参考学习使用 参考调用 [arthas@1]$ stack com.dremio.exec.planner.sql.handlers.direct.CreateFunctionHandler toResult Press Q or Ctrl+C to abor 阅读全文

摘要：dremio 22 开始支持了直接基于sql 的udf，很方便，强大，但是目前对于社区版来说智能创建，暂时还不能直接使用 目前udf 面向的创建是基于行以及列级别的访问控制 创建udf函数 CREATE FUNCTION multiply (x INT, y INT) RETURNS INT RET 阅读全文

摘要：dremio 的一些系统表是比较有用的，比如进行系统反射以及node 信息的查看，同时也便于系统的监控（同时我们也可以基于prometheus 处理） 查询命令 SELECT * FROM INFORMATION_SCHEMA."TABLES" 包含的信息(红框部分比较重要，值得学习参考) 对于反射 阅读全文

摘要：从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统） 说明 arrow 的flight sql 可以很大的提升数据查询处理能力， 很值得 阅读全文

摘要：好久没关注cube.js 最近0.30.30 有一个比较大的变动就是driverFactory 新配置 driverFactory: (context: DriverContext) => DriverConfig | BaseDriver | Promise<BaseDriver>; 此配置的影响 阅读全文

摘要：Nightingale 从官方的介绍是企业版的prometheus，从功能上的确是很不错的，我们基本上可以实现基于ui 灵活的管理prometheus 的报警处理 参考架构 VictoriaMetrics 集成玩法 一种集成玩法 主要集成VictoriaMetrics 使用了vmagent，注意同时 阅读全文

摘要：一个dremio 查询简单调用链的说明 参考命令 arthas watch watch com.dremio.sabot.exec.fragment.FragmentExecutor$AsyncTaskImpl run '{params, target, returnObj, throwExp}' 阅读全文

摘要：dremio 官方也说明了，已经支持openjdk 11 了，但是默认官方的还是openjdk 8，为了体验jdk11 所以基于官方的 搞了一个openjdk11 的镜像，很简单 dockerfile ARG JAVA_IMAGE="openjdk:11-jdk" FROM ${JAVA_IMAGE 阅读全文

摘要：spark 是一个很强大的工具，但是大家可能也会使用比较费事，包含了集群管理，以及多租户管理，所以社区开发了不少基于spark 的扩展，apachekyuubi 就是一个典型提供了多租户以及直接使用sql 进行spark 操作的能力 原有spark 集成模式 新spark 集成模式 说明 apach 阅读全文

摘要：很多时候我们的系统jvm 内存涨的比较快我们需要通过一些工具解决，方法还是比较做的 比如通过jcmd 或者jprofiler 或者arthas 生成heap 文件，然后就可以使用其他工具分析了 eclipse 的heap 分析工具（mat）以及其他的，同时也会有一些内存异常的提示，jxray 是 一 阅读全文

摘要：问题比较简单，主要是关于jdk 问题的，因为系统的jdk 都是基于rpm 构建的openjdk，而且项目构建需要使用openjdkjenkins 安装也是基于rpm 包的（jdk8），但是因为2.357 必须使用jdk 11 或者17了，但是因为构建节点（slave）使用的jdk8 （必须使用）所以 阅读全文

摘要：昨天自己构建了一个简单的hasura graphql-engine centos 7 二进制文件，可以使用 参考使用 下载 wget https://github.com/rongfengliang/graphql-engine-centos7/releases/download/1.0.0/gra 阅读全文

摘要：基于centos 7 构建 安装haskell 构建工具 curl --proto '=https' --tlsv1.2 -sSf https://get-ghcup.haskell.org | sh 依赖包问题 gmp yum install -y gmp-devel pcre yum insta 阅读全文

摘要：主要说明下操作，实际运行比较简单(使用了阿里云的rocky linux ) 准备二进制文件 可以参考我以前写的，可以直接使用docker 编译的版本 预备安装 pg 对于pg 可以使用rpm包安装 dnf install -y https://download.postgresql.org/pub/ 阅读全文

摘要：acra是cossacklabs 开源的数据库安全工具，支持数据库的proxy，同时提供了安全处理能力（加密） 参考使用模式 说明 目前cossacklabs acra 支持mysql 以及pg，其他的暂时不支持（理论上可以自己扩展），cossacklabs acra 的源码也是值得学习参考的，尤其 阅读全文

摘要：就在几天前delta lake 2.0 预览版发布了，从功能上来说，官方完全开源了以前一些商业版的特性 包含的一些特性 cdf 支持，比较适合数据变动处理 z-order ，可以支持更好的查询过滤处理 支持删除列 支持动态分片覆盖 说明 以上只是部分，实际上delta lake 现在已经不依赖spa 阅读全文

摘要：hasura graphql-engine 的运行模式默认是基于容器的，而且还是比较推荐的模式，但是很多时候我们可能需要基于二进制的运行模式以下是方法的参考说明 解决方法 自己源码构建 hasura graphql-engine 基于haskell 编写，而且新版本依赖不少三方库，构建起来不是很方便 阅读全文

摘要：从dremio 22 开始iceberg 已经成为了dremio 标配的ctas 操作了，而且同时也支持直接创建iceberg 表了，此功能整个是很强大 支持的操作 create 支持ctas 以及普通的create 操作 ctas create table mys3.demoapp.dalongt 阅读全文