荣锋亮 - 博客园

nginx-clojure java 集成试用

摘要：主要是基于java 开发一个简单的扩展，学习下流程 java 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:// 阅读全文

posted @ 2023-01-03 11:52 荣锋亮阅读(79) 评论(0) 推荐(0) 编辑

apache drill 提供的physical-operators 以及说明

摘要：当前支持物理操作分布式操作主要是通过网络的，包含以下操作 join 操作聚合操作排序以及分页投影操作过滤以及相关操作集合操作扫描操作接受操作发送操作文件写操作说明 drill 的一些官方文档对于学习dremio 还是很有用的，了解以上的一些物理操作器，可以更好的学习dremi 阅读全文

posted @ 2023-01-03 11:50 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

dremio 数据存储结构示例

摘要：从dremio 运行系统摘录一些存储结构，方便了解dremio 分布式存储（主要以对象存储为主，当然nas 也是可以使用的）部分，整体结构类似，但是文件夹名称可能会不要一样（反射内部的存储结构是一致的）主要包含了反射，下载，上传，一致job 执行结果 ├── accelerator │ ├── 阅读全文

posted @ 2023-01-03 11:48 荣锋亮阅读(67) 评论(0) 推荐(0) 编辑

nginx-clojure docker 镜像

摘要：主要是一个测试，方便学习使用nginx-clojure 强大的能力 dockerfile 直接基于了openjdk:10-slim 基础镜像，同时基于copy 文件的格式处理 FROM openjdk:10-slim WORKDIR /usr/local/nginx COPY nginx-cloju 阅读全文

posted @ 2023-01-02 23:17 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

dremio NamespaceService 简单说明一

摘要：此处主要说明社区版dremio namspaceservice 包含的一个能力，我们如果自己扩展下就可以实现简单的部分权限管理参加定义类图如下如可以看出namspaceservice 提供的能力一个额外的能力接口定义 interface Factory { /** * Return a na 阅读全文

posted @ 2023-01-02 22:18 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

dremio 的加速文件系统插件简单说明

摘要： dremio 包含一个强大的功能就是反射加速，dremio 为了对于反射数据的存储开发了自己的文件系统插件插件类图 parquet 以及iceberg 的支持从start 入口可以看出包含了不同的处理，实际上dremio 从21 版本开始就默认基于了iceberg 存储了（同时也需要分布式存储）阅读全文

posted @ 2023-01-02 21:57 荣锋亮阅读(76) 评论(0) 推荐(0) 编辑

dremio ClassPathScanner 简单说明

摘要： ClassPathScanner 实际上是dremio 基于配置+约定的类扫描处理，为了性能同时使用了开源的reflections 工具包约定主要扫描包含以下约定key 的类或者包 /** Configuration pathname to list of names of packages t 阅读全文

posted @ 2023-01-02 21:37 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dremio formatPlugin 调用链

摘要：格式化插件在dremio 中是比较核心的，包含了不少格式化插件，了解格式化插件的执行可以更好的开发自己的扩展以及了解dremio的内部机制以下是基于arthas 分析的一个调用链可以参考调用链 stack parquet format plugin stack com.dremio.exec.s 阅读全文

posted @ 2023-01-02 10:08 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

gluon 基于浏览器+nodejs 的桌面应用开发框架

摘要： gluon 基于浏览器+nodejs 的桌面应用开发框架，好处是相对轻量，只使用系统浏览器，对于nodejs 可以支持包含以及不包含模式目前支持chrome 以及firfox 浏览器器，打包的应用相对比较小，同时内存使用也比较少官方对比说明 tauri 是基于rust 的性能很不错，目前就是不太阅读全文

posted @ 2023-01-02 09:36 荣锋亮阅读(955) 评论(0) 推荐(0) 编辑

nginx-clojure nginx clojure & java & groovy 模块

摘要： nginx-clojure 是一个nginx 扩展模块，让我们可以直接运行 clojure & java & groovy ，还是比较强大的，支持的功能也不少我们可以直接基于jvm 对于nginx 进行扩展了，还是值得尝试的说明但是因为jvm 的特殊性（算是比较重），目前看到社区也有一些构建好的阅读全文

posted @ 2023-01-01 23:34 荣锋亮阅读(140) 评论(0) 推荐(0) 编辑

haproxy 2.7 发布

摘要：就在最近haproxy 2.7 发布了支持的新特性流量整形，新的不少指令，比如filter bwlim-out 以及filter bwlim-in 还包含了response 以及request 的流量处理支持更大的线程，以前包含了64 线程数的限制更好的health check 性能 htt 阅读全文

posted @ 2023-01-01 21:15 荣锋亮阅读(171) 评论(0) 推荐(0) 编辑

sccache 基于rust 类似ccache 的编译cache 工具

摘要： sccache 类似ccache 的编译cache 工具，支持基于本地磁盘，或者云对象存储特性基于c/c++ ，rust 编译支持增量编译 rust 集成使用可以通过定义build.rustc-wrapper ，基于配置文件参考配置$HOME/.cargo/config.toml, 注意阅读全文

posted @ 2023-01-01 20:45 荣锋亮阅读(324) 评论(0) 推荐(0) 编辑

osv-scanner google 开源漏洞扫描工具

摘要： osv-scanner 是google 基于golang 编写的开源漏洞扫描工具，支持基于osv 数据库的扫描，生态比较好支持的扫描模式 lockfiles sboms git 项目说明 osv-scanner 支持的扫描语言还是不少的，而且输出格式也比较友好，比如json 格式，我们可以方便的阅读全文

posted @ 2023-01-01 20:15 荣锋亮阅读(849) 评论(0) 推荐(0) 编辑

roapi 基于datafusion+ apache arrow 的多协议api 平台

摘要： roapi 是基于datafusion+ apache arrow 的多协议api 平台，基于rust 开发参考架构支持的特性多协议，graphql，rest api，pg sql 基于datasusion 的查询计划执行数据层支持多样基于arrow 数据格式的多样序列化处理说明从功能阅读全文

posted @ 2023-01-01 19:54 荣锋亮阅读(311) 评论(0) 推荐(0) 编辑

dremio UserServer 简单说明

摘要： UserServer 目的是对于UserRPCServer 进行生命周期管理（基于netty 开发的）主要是处理非web 请求（实际上就是直接链接的服务）从官方源码上UserServer 的创建只能在协调节点（当然候选节点也是可以执行rpc 服务的）参考创建 DACDaemonModule if 阅读全文

posted @ 2022-12-29 19:05 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dremio jdbc 客户端简单说明

摘要： dremio jdbc 客户端实际上包含了基本上两大类，一个是传统jdbc 的，一个是基于apache arrow flight sql jdbc 的当前主要说明传统jdbc 客户端的，内部上dremio 基于了calcite 的avatica 进行jdbc driver 的包装，实际客户端的链阅读全文

posted @ 2022-12-29 19:03 荣锋亮阅读(147) 评论(0) 推荐(0) 编辑

dremio 参考配置参考

摘要：实际上我以前简单说明过，下边包含一个官方文档完整的，方便参数学习官方提供的参考配置 dremio-reference.conf include classpath("dremio-reference-ext.conf") paths: { # the local path for dremio t 阅读全文

posted @ 2022-12-29 19:02 荣锋亮阅读(166) 评论(0) 推荐(0) 编辑

gitlab 集成的一些SAST安全扫描工具

摘要：企业内部使用gitlab 作为源代码管理的越来越多了，同时目前gitlab 不少企业特性也开源的社区免费版了，以下是支持的SAST 清单可以参考参考清单 Language (package managers) / frameworkScan toolIntroduced in GitLab Ver 阅读全文

posted @ 2022-12-28 20:36 荣锋亮阅读(382) 评论(0) 推荐(0) 编辑

dremio ClassCompilerSelector 简单说明

摘要： ClassCompilerSelector 核心是基于配置的策略选择不同的类编译器，然后编译为字节数组当前包含了基于jdk 的以及janino ClassCompiler实现类图使用到的类直接使用主要包含CodeCompiler以及QueryClassLoader，间接的包含了不少，主要是对于阅读全文

posted @ 2022-12-28 18:14 荣锋亮阅读(30) 评论(0) 推荐(0) 编辑

dremio SabotContext 简单说明

摘要： dremio 包含不少context,而且好多context 是直接在dremio 整个执行生命周期的，比如SabotContext，QueryContext，BootStrapContext。。。。SabotContext 是一个比较重要的服务，具体的创建是由ContextService 初始化的阅读全文

posted @ 2022-12-28 18:09 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

databend minio 模式试用

摘要：关注databend 很早了，最近运行试用了下（基于minio），发现databend 真的很强大了，目前也推出了cloud 环境准备 docker-compose 文件 version: '3' services: databend-single: image: datafuselabs/data 阅读全文

posted @ 2022-12-27 20:34 荣锋亮阅读(117) 评论(0) 推荐(0) 编辑

dremio fragment 执行简单说明

摘要： dremio 的内部执行实际上与drill 是比较类似的，只是dremio 做了不少的优化处理一个调用流程说明来自官方文档参考调用链实际执行管理的类 AttemptManager @Override public void run() { // rename the thread we're 阅读全文

posted @ 2022-12-27 17:45 荣锋亮阅读(54) 评论(0) 推荐(0) 编辑

dremio ExecutionPlanCreator 简单说明

摘要： dremio 在进行了一系列的sql 解析，sql 校验，逻辑计划、物理计划之后就需要实际的执行计划生成以及具体的数据处理了 ExecutionPlanCreator 的作用就是进行执行计划的生成，在dremio 中核心是fragment （包含了Major 以及Minor）调用参考如下，由 M 阅读全文

posted @ 2022-12-27 17:39 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

encore 云友好的后端开发框架

摘要： encore 云友好的后端开发框架，将云基础设施的能力直接应用到代码中特性简化微服务开发内置云服务api，包含了数据库，队列，缓存，任务调度内置devops 自动环境提供智能架构图分布式追踪安全管理自动api 文档生成前端clients 说明 encore 基于golang 开发，阅读全文

posted @ 2022-12-25 20:08 荣锋亮阅读(216) 评论(0) 推荐(0) 编辑

pg_graphql 1.0 发布了

摘要： pg_graphql是supabse 团队使用pgx 扩展开发的pg graphql 扩展，实际上官方的graphl 支持是演变了好几个版本的，学习下官方博客的演变还是很值得的看看如何进行设计参考资料 https://supabase.com/blog/pg-graphql-v1https://g 阅读全文

posted @ 2022-12-25 19:08 荣锋亮阅读(65) 评论(0) 推荐(0) 编辑

dremio 实现官方create user sql 处理的一些说明

摘要：以前我简单说明实际上当时我只是说明了以下简单的思路，最近随着对于dremio 慢慢比较深入的学习，发现直接实现create user sq 似乎并不是一个比较方便的原因传入的参数是QueryContext，此上下文缺少UserService 的暴露参考方法签名 public interface 阅读全文

posted @ 2022-12-25 19:01 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

通过dremio 一个单元测试了解基本查询处理过程

摘要： dremio 属于一个比较复杂的系统，官方有不少模块，官方同时也包含了一个不错的单元测试可以基本了解查询的处理从session到查询，到sql 解析，关系节点转换，逻辑计划器以及物理计划以及执行计划参考代码 public class Limit0LogicalToPhysicalTest ext 阅读全文

posted @ 2022-12-24 13:07 荣锋亮阅读(69) 评论(0) 推荐(0) 编辑

hydra snowflake 可选的olap postgres 数据库

摘要： hydra 是基于pg 开发的olap 数据库，官方的说法是snowflake 可选方案，属于一个HTAP 工作负载类型的数据库支持向量化以及列式存储（当然部分还在开发中，还没实现）支持的特性托管pg 数据库 append-only 列存外表 pg 调度并行查询 where 条件向量化执行阅读全文

posted @ 2022-12-18 22:54 荣锋亮阅读(122) 评论(0) 推荐(0) 编辑

maven fmpp+javacc 集成使用简单说明

摘要： dremio 以及apache calcite 使用到fmpp + javacc 进行代码生成处理，以下是一个简单的集成测试 fmpp 的作用 fmpp 实际上是包装了freemarker ，提供了cli 以及java api 可以方便的进行模版处理，目前apache calcite 就基于了fmp 阅读全文

posted @ 2022-12-15 17:46 荣锋亮阅读(708) 评论(0) 推荐(0) 编辑

maven fmpp 插件开发说明

摘要：实际上已经有几个 fmpp maven 插件，但是不是很好用，dremio 自己包装了一个，然后fork 了dremio fmpp 插件的代码独立包装了一些同时发布到github repo 中，方便使用参考代码 pom.xml <?xml version="1.0" encoding="UTF- 阅读全文

posted @ 2022-12-15 17:40 荣锋亮阅读(221) 评论(0) 推荐(0) 编辑

dremio CommandPool简单说明

摘要： CommandPool 实际上是一个线程池的处理，官方实现了好几种线程池主要作用限制并行请求以以及job 的运行定义优先级任务特点任务基于优先级以及提交时间进行自然排序当线程空闲的是否任务会尽快的执行在其他任务需要运行的是否，比较忙碌的线程必须先完成 CommandPool 的注册是由阅读全文

posted @ 2022-12-14 19:34 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

dremio CommandCreator 简单说明

摘要： CommandCreator 主要是基于不同业务规则进行conmandrunner 的生成，以下是一个简单说明 CommandCreator 的作用基于request 创建包装的command 包装多种conmandrunner （基于用户请求类型，包装不同的commandrunner）构建后变阅读全文

posted @ 2022-12-14 19:34 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

idea 自带java 反编译工具问题

摘要：就在最近升级到idea 最新版本，发现以前java-decompiler 命令行工具不能使用了，运行会有错误解决方法找到一个地版本的idea 拷贝java-decompiler.jar 直接替换，或者直接使用低版本的java-decompiler.jar 运行运行命令 java -cp jav 阅读全文

posted @ 2022-12-13 12:03 荣锋亮阅读(776) 评论(0) 推荐(0) 编辑

dremio 查看外部profile 信息

摘要： dremio web server 基于了jersey实际包含了比较完备的配置支持（类似spring boot 强大的配置支持一样）同时dremio 也包含了一些测试api 但是默认是关闭的，我们可以通过配置，或者修改代码打开，目前我基于代码进行了修改参考修改的代码 TestResources 阅读全文

posted @ 2022-12-12 12:06 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

使用 dragonflydb 作为godns 的redis 存储

摘要：玩法没变，可以参考我以前写的，主要是调整了redis 为dragonflydb 测试下参考docker-compose 文件 version: "3" services: redis: image: docker.dragonflydb.io/dragonflydb/dragonfly:lates 阅读全文

posted @ 2022-12-11 21:31 荣锋亮阅读(358) 评论(0) 推荐(0) 编辑

dremio 23 反射异常问题原因分析简单说明

摘要：通过几天的分析，大致可以确认dremio 23 的问题，应该是一个exception 引起的，以下是通过使用jpropfiler 发现的一个exception 信息现象参考图说明从上图可以看出是一个MatchFailed 的exception 引起的，但是目前没有影响业务，因为异常之后使用了阅读全文

posted @ 2022-12-11 20:27 荣锋亮阅读(57) 评论(0) 推荐(0) 编辑

graylog 5.0 发布了

摘要： graylog 5.0 最近ga 发布了，包含了不少新特性（ui 变化，新参考文档）参考运行 docker-compose 文件 version: '3' services: mongo: image: mongo:5.0.13 ports: - 27017:27017 networks: - g 阅读全文

posted @ 2022-12-10 11:49 荣锋亮阅读(637) 评论(0) 推荐(0) 编辑

nginx + graylog 对于日志进行管理的一个实践

摘要：以下整理一个自己结合ngin+graylog 进行日志处理的实践，可以参考日志参考玩法参考配置 log format 参考如下，可以配置一些符合自己业务的log format 不同业务配置使用 log_format main '$remote_addr - $remote_user [$time 阅读全文

posted @ 2022-12-09 13:25 荣锋亮阅读(533) 评论(0) 推荐(0) 编辑

jib-maven-plugin docker 集成使用简单配置说明

摘要：以下是一个实践，实际自己可以调整开启的功能主要配置了jdwp ，当然这个东西是有安全风险的，对于容器环境，如果没有开启直接外部暴露，就不是问题，但是如果控制不好会有比较大的安全风险参考配置 <plugin> <groupId>com.google.cloud.tools</groupId> < 阅读全文

posted @ 2022-12-08 18:30 荣锋亮阅读(475) 评论(0) 推荐(0) 编辑

dremio 23 版本反射加速问题

摘要：问题描述实际上这个问题社区也有不少人反馈了，以前看社区问题的时候没太注意，最近有一个网友也问了类似的问题，在测试了之后发现的确是有问题参考思路此问题实际上影响还是比较大的，官方的一些答复是推荐可以配置日志，看看反射执行的流程目前此问题似乎是查询优化器在处理物化视图的问题，目前还在分析中(大家阅读全文

posted @ 2022-12-07 12:26 荣锋亮阅读(50) 评论(0) 推荐(0) 编辑

导航

公告