03 2022 档案

mimir grafana 部署模式
摘要：mimir grafana 支持多种部署模式，all-in-one 以及微服务模式，all-in-one 是最简单而且高效的模式 mimir 写处理 读处理 单体模式 包含的命令-target=all 读写分离模式（扩容） 微服务模式 通过-target= 指定服务组件 参考资料 https://g 阅读全文

posted @ 2022-03-31 23:38 荣锋亮 阅读(412) 评论(0) 推荐(0) 编辑

部署时创建minio bucket 的方法
摘要：参考玩法 如果我们在minio 启动的数据目录中直接创建文件夹，就会直接暴露为s3 bucket，比较适合的场景是系统部署的时候 需要依赖一个s3 bucket，我们可以直接先创建好 docker-compose 运行 docker-compose 文件 version: '3' services: 阅读全文

posted @ 2022-03-31 23:05 荣锋亮 阅读(2314) 评论(0) 推荐(0) 编辑

mimir grafana 时序存储参考试用
摘要：参考示例demo图 运行 git clone https://github.com/grafana/mimir.git cd mimir cd docs/sources/tutorials/play-with-grafana-mimir/ docker-compose up 参考配置 prometh 阅读全文

posted @ 2022-03-31 21:48 荣锋亮 阅读(585) 评论(0) 推荐(0) 编辑

mimir grafana 团队开源的时序数据存储服务
摘要：mimir 是grafana团队在Cortex基础之上新的时序存储引擎，底层基于对象存储就可以解决了 特性 100% prometheus 兼容 基于复制的高可用 基于对象存储的长时存储 基于分片以及水平扩展的强大查询性能 多租户支持以及数据隔离（同时支持租户联邦） 水平扩展的集群架构 支持metr 阅读全文

posted @ 2022-03-31 20:50 荣锋亮 阅读(486) 评论(0) 推荐(0) 编辑

signoz 开源apm 工具试用
摘要：signoz 官方提供了demo ，我们基于docker 也可以快速的体验服务 参考架构 signoz 的架构还是比较简单的，利用了社区的标准（OpenTelemetry），同时集成了metrics 以及trace，类似的grafan tempo 也是一个全家桶的东西使用也比较简单 运行 注意对于d 阅读全文

posted @ 2022-03-31 20:49 荣锋亮 阅读(1658) 评论(0) 推荐(0) 编辑

temporal 开源微服务编排引擎
摘要：temporal 来自与uber的Cadence，使用上与Cadence 类似，但是功能是相对更加强大，目前已经有不少的企业已经在使用此工具做为系统的调度处理，同时提供了java，golang，php，ts 的sdk 说明 对于微服务的编排调度，目前还是一个比较广的领域，微服务不是银弹，代码的问题也 阅读全文

posted @ 2022-03-30 21:36 荣锋亮 阅读(1884) 评论(0) 推荐(0) 编辑

ShedLock 分布式锁服务
摘要：ShedLock 实际上是一个java 的包，我们基于次可以实现灵活的锁服务（比较适合调度任务），功能还是比较强大的，而且比较简单支持的数据库以及类似中间存储还是比较多的，而且提供了灵活的扩展点（多种java 框架也是支持的） 参考资料 https://github.com/lukas-krecan 阅读全文

posted @ 2022-03-30 21:35 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

openresty ngx_http_upstream_check_module 模块安装
摘要：实际上测试了tengine以及其他的ngx_http_upstream_check_module发现都不好使，反而发现ngx_healthcheck_module 值得使用 构建 基于docker，复用了openresty 官方的dockerfile 构建模式，核心流程如下 clone ngx_he 阅读全文

posted @ 2022-03-29 00:09 荣锋亮 阅读(653) 评论(0) 推荐(0) 编辑

coolify heroku & netlify 可选开源方案
摘要：coolify heroku & netlify 可选开源方案，基于js 开发，才功能上还是很不错的，使用了不少开源技术，值得学习下（比如关于haproxydataplaneapi 集成的） 支持的特性 参考资料 https://github.com/coollabsio/coolify 阅读全文

posted @ 2022-03-27 23:50 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

supertokens autho firebase auth aws cognito 开源替换方案
摘要：supertokens autho firebase auth aws cognito 开源替换方案 自托管参考架构 从架构可以看出具体如何使用 用户登录流程 用户登出流程 参考资料 https://github.com/supertokens/supertokens-corehttps://sup 阅读全文

posted @ 2022-03-27 23:18 荣锋亮 阅读(119) 评论(0) 推荐(0) 编辑

minio 系统自动纠删码处理算法简单说明
摘要：内容来自web的计算使用，可能会有不一致的地方，建议参考官方文档（理论上server 端以及web 端应该是一致的） 参考处理 主要是以下js 处理的 https://min.io/static/js/min-72976390afcf/page/erasure-code-calculator.js 阅读全文

posted @ 2022-03-27 20:44 荣锋亮 阅读(717) 评论(0) 推荐(0) 编辑

minio 4*4 集群 故障测试
摘要：因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1105) 评论(0) 推荐(0) 编辑

nocodb minio 集成试用
摘要：nocodb 包含了app store 可以方便进行外部集成，以下测试下关于minio s3的集成 实际上minio的集成属于存储扩展的集成（比如附件之类的存储,主要表单以及table 设计中的存储需要） 环境准备 docker-compose 文件 version: '3' services: m 阅读全文

posted @ 2022-03-26 18:20 荣锋亮 阅读(1171) 评论(0) 推荐(0) 编辑

nocodb 核心入口依赖
摘要：主要介绍下后端服务的依赖 参考图 基于webstorm 生成的，基于此图我们学习nocodb 源码也就比较清晰了 说明 nocodb 是支持一种插件化的架构（直接内置的）参考图如下，从接口定义以及内置开发上还是比较清晰的，具体插件是在NcMetaMgr 中使用的以上只是一个简单的说明，从整体上介绍下 阅读全文

posted @ 2022-03-26 17:53 荣锋亮 阅读(615) 评论(0) 推荐(0) 编辑

minio 纠删码测试
摘要：官方提供了一个纠删码以及存储空间计算的，比价有参考价值,方便我们了解部署的系统服务可用性情况 参考使用 以下是4节点，4 driver 的情况，基于此可以了解系统容错情况 参考资料 https://min.io/product/erasure-code-calculator 阅读全文

posted @ 2022-03-26 13:42 荣锋亮 阅读(213) 评论(0) 推荐(0) 编辑

nocodb 参考架构
摘要：内容来自官方文档，主要是一个整体的了解nocodb的内部机制以及源码体系 参考图 支持的项目类型 包含了内部，外部以及基于excel 的，内部以及excel数据是存储在nc_db 中，外部数据存储在外部系统中，nocodb 对于数据的存储包含了元数据以及数据 存储 nocodb 项目结构 详细的可以 阅读全文

posted @ 2022-03-25 12:36 荣锋亮 阅读(910) 评论(0) 推荐(0) 编辑

nocodb Airtable 可选开源工具
摘要：nocodb Airtable 可选开源工具，可以将pg、mysql、sql server 转为实施rest api 然后可以基于web 表格进行操作 运行 基于docker，快速运行 docker run -d --name nocodb -p 8080:8080 nocodb/nocodb:la 阅读全文

posted @ 2022-03-25 12:25 荣锋亮 阅读(441) 评论(0) 推荐(0) 编辑

pf4j spring 插件配置处理
摘要：pf4j spring 提供的spring 能力有点弱，但是我们可以自己扩展实现spring 插件类似spring boot 的配置处理能力 问题 比如我们需要实现如下的配置，自定转换，但是因为默认的spring 项目是不直接支持此特性的 @Configuration @PropertySource 阅读全文

posted @ 2022-03-23 13:25 荣锋亮 阅读(570) 评论(0) 推荐(0) 编辑

odbc 架构
摘要：odbc 是微软提供的标准数据访问机制，同时社区也包含了支持linux 以及mac 的实现 参考图 下图的mysql 可以是任何的支持的数据源 参考说明 driver manager 是一个通用的driver 管理，类似jdbc 的driver 支持注册一样，目前包含了微软的以及unixodbc等实 阅读全文

posted @ 2022-03-23 01:04 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

使用odbc 提升cube.js 查询dremio 的性能
摘要：主要是一个技术说明，后续开发相关的driver 原理 dremio 是支持obdc 访问的，odbc 是比直接的http 访问有更快的性能,而且可以使用更加标准的sql 查询 参考处理 社区已经有了完整的实现node-odbc 我们可以使用来使用 参考demo dremio 的odbc 需要先安装， 阅读全文

posted @ 2022-03-21 23:27 荣锋亮 阅读(100) 评论(0) 推荐(0) 编辑

lightdash 运行简单说明
摘要：基于docker-compose 运行环境 docker-compose 文件 version: "3.8" services: lightdash: image: lightdash/lightdash:latest depends_on: - db environment: - PGHOST=$ 阅读全文

posted @ 2022-03-20 23:49 荣锋亮 阅读(219) 评论(0) 推荐(0) 编辑

lightdash 对于数据访问的处理
摘要：我们在 Lightdash 的使命是：让您公司中的每个人都能使用数据回答他们自己的问题。 Lightdash 是数据团队（👷‍♀️ 建设者）和其他业务部门（👩‍🌾 消费者）聚集在一起以做出更好的数据驱动决策的地方。对于数据构建者和数据消费者之间的这种关系应该如何运作，我们有一些非常强烈的意见。 阅读全文

posted @ 2022-03-20 23:29 荣锋亮 阅读(430) 评论(0) 推荐(0) 编辑

jitsu 开源Segment 可选工具
摘要：jitsu 开源Segment 可选工具,核心基于golang 开发，100%兼容Segment api 说明 Segment 主要是国外的服务，国内使用的企业可能比较少，jitsu 是一个不错的开源选择，代码也是值得学习研究的 参考资料 https://github.com/jitsucom/ji 阅读全文

posted @ 2022-03-20 22:17 荣锋亮 阅读(167) 评论(0) 推荐(0) 编辑

lightdash ProjectAdapter 接口定义
摘要：主要介绍接口定义，实际的实现后续说明 ProjectAdapter 是一个比较重要的东西，定义了project 以及dbt client ，WarehouseClient 接口定义 export interface ProjectAdapter { compileAllExplores(): Pro 阅读全文

posted @ 2022-03-20 22:06 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

lightdash 源码简单介绍
摘要：以下简单介绍下lightdash lightdash 源码结构 代码基于yarn workspace 模式，对于数据库访问为了提升性能基于了odbc（当然也是有其他原因的，比如本来就不能很好使用js驱动的） 核心代码目录都在packages 中 backend // 后端接口项目，比较核心 comm 阅读全文

posted @ 2022-03-20 21:46 荣锋亮 阅读(315) 评论(0) 推荐(0) 编辑

lightdash基于dbt 构建的looker 可选工具
摘要：目前基于dbt 开源的东西不少了（dbt的确是数据分析的一个好工具）lightdash 就是基于dbt 开发的一个looker 可选工具基于了ts开发，我们可以基于配置进行dashborad 服务的开发 说明 Metriql 也是一个基于dbt 开发的（此工具是借鉴了dbt的处理，没有直接使用dbt 阅读全文

posted @ 2022-03-19 13:29 荣锋亮 阅读(288) 评论(0) 推荐(0) 编辑

pip "Directory not empty" while pip installing or updating a package in python3 问题解决
摘要：解决此问题的方法最直接的方法就是直接强制重新安装包 pip install -r requirements.txt --ignore-installed 参考资料 https://blog.51cto.com/wutengfei/2161960 阅读全文

posted @ 2022-03-16 20:52 荣锋亮 阅读(70) 评论(0) 推荐(0) 编辑

nginx 使用mime.types 解决mac safari excel xls 下载格式为xls.xlw 问题
摘要：这个问题属于mac safari的问题，解决方法很简单，就是自定义mime.types 对于xls 解析为application/octet-stream 就可以了 参考配置 mime.types types { text/html html htm shtml; text/css css; tex 阅读全文

posted @ 2022-03-16 00:34 荣锋亮 阅读(1190) 评论(0) 推荐(0) 编辑

dremio 的Spillservice 简单说明
摘要：Spillservice 的场景主要是处理sort ，hash agg 等一些操作，在需要使用本地文件cache的时候 类图 使用Spillservice 服务的模块 主要包含了SpillManager，IncomingBuffers，FragmentExecutor，OperatorContext 阅读全文

posted @ 2022-03-13 23:49 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

spring boot 基于jackson 多态数据类型处理简化rest api 开发
摘要：开发好可扩展的rest api 是一门技术，同时开发灵活扩展的rest api 也是比较费事的，很多时候 我们为了业务开发了特别多的rest api，造成系统的维护以及使用都很复杂，graphql 是一种不错的 解决方法（同时业界也有类似通用查询处理）,以下是一个简单的基于jackson 多态数据处 阅读全文

posted @ 2022-03-13 20:53 荣锋亮 阅读(375) 评论(0) 推荐(0) 编辑

基于jackson 多态数据类型处理rest api 业务
摘要：jackson 支持多态数据类型处理，基于此特性我们可以实现灵活强大的类型处理，业务规则处理 同时基于此可以实现动态插件化的业务处理 参考使用 抽象类型定义 MyUser package com.dalong; import com.fasterxml.jackson.annotation.Json 阅读全文

posted @ 2022-03-13 11:08 荣锋亮 阅读(154) 评论(0) 推荐(0) 编辑

hilla maven 插件原理简单说明
摘要：hilla maven 插件的源码是分散在不同的代码库中，hilla 中包含一部分，flow 也包含一部分 插件参考使用 参考使用 <plugin> <groupId>dev.hilla</groupId> <artifactId>hilla-maven-plugin</artifactId> <v 阅读全文

posted @ 2022-03-13 10:37 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑

hilla 源码学习简单说明
摘要：如果只是看hilla 项目源码就会发现缺少不少东西，实际上部分还是在flow 代码仓库中，从目前看到的情况hilla 主要是关于插件处理部分的，关于框架集成部分的还需要通过flow 项目代码学习 参考资料 https://github.com/vaadin/hillahttps://vaadin.c 阅读全文

posted @ 2022-03-13 00:36 荣锋亮 阅读(64) 评论(0) 推荐(0) 编辑

hilla maven 插件实现简单说明
摘要：hilla maven 插件的处理是利用了openapi-> typescript 的模式处理，对于openapi的生成使用了类扫描 maven 插件部分就是包装了openapi 处理 同时基于npm 生成部分类型代码 参考处理代码 packages/java/maven-plugin/src/ma 阅读全文

posted @ 2022-03-13 00:20 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

hilla 项目诞生的原因
摘要：实际上hilla是从fusion 项目名称变更来的，以下参考链接有说明，内容来自官方文档，还是值得参考学习的 说明 还是比较赞同vaadin 团队的说明的，企业的业务越来越复杂，微服务等一些技术也造成web 开发越来越复杂，现在的web 框架是越来越多了，而且从性能上以及生态是都是不错，但是框架就是 阅读全文

posted @ 2022-03-12 18:53 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑

hilla 项目基本结构
摘要：前边有介绍过hilla 是有些是基于约定的，同时项目运行也是类似的 参考项目结构 frontend 主要包含了前端项目代码，当然基于spring boot 提供后端服务通信生成的代码也是在这里的src 主要是后端代码，当然hilla 基于约定同时也提供了一些静态资源放里边几个而外的文件pom.xml 阅读全文

posted @ 2022-03-12 18:33 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

hilla 框架的组成
摘要：hilla 实际上是使用了不少开源技术，但是开发效率比较搞 包含的组件 spring boot 后端 lit 前端 一些列自定义ui 组件 一个c/s 框架，方便处理c/s 通信，路由，数据当定，提供endpoint 生成 maven/gradle 插件，方便应用的运行以及打包 组件说明 sprin 阅读全文

posted @ 2022-03-12 18:13 荣锋亮 阅读(255) 评论(0) 推荐(0) 编辑

hilla java 现代web 框架
摘要：hilla 是来自vaadin 团队的web 框架，可以让我们简化java 项目web 的开发，vaadin 开源以及公司的产品都是很不错的hilla 利用了typescript 以及spring boot ，可以让我们可以类型安全的系统 支持的特性 类型安全访问 包含ui 组件，包含了vaadin 阅读全文

posted @ 2022-03-11 21:36 荣锋亮 阅读(230) 评论(0) 推荐(0) 编辑

dremio RuleBasedEngineSelector 简单介绍
摘要：dremio 提供了一个空的默认RuleBasedEngineSelector 实现，主要实现基于规则的引擎选择 接口定义以及默认空实现 public interface RuleBasedEngineSelector { public String resolveAndUpdateEngine(R 阅读全文

posted @ 2022-03-11 21:34 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

dremio maestro 服务简单介绍
摘要：maestro 英文翻译是大师，dremio 中的 maestro 主要进行服务的执行（提供一个执行抽象，实际具体执行是由command pool 操作的dremio 也还包含了一个独立的maestro 的rpc 定义（基于fabric 进行通信，主要包含了rpc 类型以及client方便kerne 阅读全文

posted @ 2022-03-11 01:03 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑

apache drill 查询机制
摘要：内容来自 apache drill 学习手册 drill 的组件 drill 客户端，链接到foreman ，提交sql，接受返回的结果 forceman ，一个选择会话管理以及处理查询请求的drill 服务器，drill 的客户端会在drill 集群中随机选择一个driilbit 做为会话的for 阅读全文

posted @ 2022-03-11 00:26 荣锋亮 阅读(294) 评论(0) 推荐(0) 编辑

dremio resourcescheduler 模块说明
摘要：resourcescheduler 是dremio 进行资源分配处理的包含了不少功能，默认dremio 社区版本是包含一个简单的调度，但是对于复杂的是需要企业版的，如果需要自己扩展就可以基于此模块 几个接口功能 RuleBasedEngineSelector 自定义基于规则的引擎查找,默认实现为nu 阅读全文

posted @ 2022-03-09 23:48 荣锋亮 阅读(57) 评论(0) 推荐(0) 编辑

dremio AttemptManager 服务
摘要：AttemptManager 属于dremio kernel部分的，主要用来管理对于一个查询的所有fragments（分段）（本地以及远程） 参考处理流程（内容来自官方说明） AttemptManager 做为一个runnable 提交（实际上内部使用了线程调度） runnable 执行查询计划 状 阅读全文

posted @ 2022-03-09 23:01 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

krakend 2.0.0 发布了
摘要：krakend 去年是加入了linux 基金会，成为lura 项目，就在昨天krakend发布了2.0 新特性还是不少的 新特性 graphql 支持，gateway 支持graphql 已经是一个基本的必须项了（支持的玩法还是比较多的，具体参考官方文档） 新的request，response 修改 阅读全文

posted @ 2022-03-08 23:33 荣锋亮 阅读(156) 评论(0) 推荐(0) 编辑

dremio ConnectionConf 接口说明
摘要：基本所有dremio 的存储扩展的配置管理都会使用此类 参考类图定 ConnectionConf 继承了AbstractConnectionConf 功能比较简单，主要是提供了获取类型，以及转换为字节字符串 获取类型部分使用了dremio 的注解（开发扩展会包含一个注解，设计还是比较巧妙的，简化了注 阅读全文

posted @ 2022-03-08 20:53 荣锋亮 阅读(86) 评论(0) 推荐(0) 编辑

dremio SourceMetadataManager 服务简单说明
摘要：SourceMetadataManager 对于dremio 来说是一个比较重要的东西，它是包含在ManagedStoragePlugin中的一个能力 所以每个存储扩展都包含了一个SourceMetadataManager，而且ManagedStoragePlugin 会利用SourceMetada 阅读全文

posted @ 2022-03-08 00:12 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

dremio 反射加速服务简单说明一
摘要：反射是dremio 的一个特性（相比其他查询引擎强大的地方）以下简单说明下 内部简单处理说明 dremio 对于反射包含了自己的文件系统 （AccelerationFileSystem） dremio 的反射包含了自己的存储插件（AccelerationStoragePlugin） dremio 默 阅读全文

posted @ 2022-03-07 00:05 荣锋亮 阅读(181) 评论(0) 推荐(0) 编辑

dremio DatasetListingService 服务简单说明.
摘要：DatasetListingService 从功能上来说主要是处理dremio 集群节点访问datasets 的处理，默认基于namespace 的只能协调节点访问，CatalogService 就依赖DatasetListingService 简单介绍 实现类图 从定义以及子类上，可以看出，主要还 阅读全文

posted @ 2022-03-06 22:25 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

dremio CatalogService 服务简单说明
摘要：CatalogService 在dremio 中还是比较重要的，包含了source 以及storage 插件的通信处理，ManagedStoragePlugin 实际上是一个存储扩展的 包装，支持插件的状态管理，PluginsManager 主要进行存储扩展的管理，如果看过我以前写过的jdbc ar 阅读全文

posted @ 2022-03-06 22:03 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑

dremio 的配置管理简单说明
摘要：dremio 包含了一套比较完备的配置处理，包含了注解以及接口定义，也包装为了一个bean 模块，各个系统可以方便的使用 同时对于配置也包含了类型校验处理 支持的配置类型 public enum OptionType { BOOT, SYSTEM, SESSION, QUERY } 参考实现类图 不 阅读全文

posted @ 2022-03-05 23:02 荣锋亮 阅读(117) 评论(0) 推荐(0) 编辑

dremio arp BaseTestQuery 类windows 系统问题
摘要：对于开发的dremio arp 扩展，我们很多时候需要进行测试，官方是提供了一个BaseTestQuery的类，可以方便的编写测试但是此类默认会创建hadoop 相关的东西，使用起来还是很费事的，一般我们开发jdbc arp 扩展的时候是不会使用hadoop的所以应该禁用，参考官方修改了一个去掉ha 阅读全文

posted @ 2022-03-04 21:46 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

dremio 内置的一些默认配置参数
摘要：参考代码定义 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java其中定义了不少关于dremio 执行引擎的一个配置参数，有部分可以结合apache drill 学习 说明 dremio 官方文档不是很全，很多东西可以结合源码以及 阅读全文

posted @ 2022-03-04 21:41 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

dremio 的ArpDialect 简单介绍
摘要：dremio 的ArpDialect 让我们可以直接基于yaml 文件配置sql 类型以及处理，可以很大程度上简单jdbc 存储插件的开发 核心上还都是扩展的apache calcite sql 方言 核心部分 参考代码 截取了部分，同时基于yaml 处理了ArpTypeMapper，包含了不少类型 阅读全文

posted @ 2022-03-04 00:10 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

dremio jdbc arp 扩展包装以及加载处理
摘要：如果按照官方直接提供的jdbc 存储插件进行jdbc驱动开发是很痛苦的，好多问题需要解决 还好官方抽象了arp 开发模式，大大简化了我们的处理，而且很灵活，很简单 参考处理 创建调用链 以下是一个添加arp 的处理流程 stack com.dremio.exec.store.jdbc.conf.Jd 阅读全文

posted @ 2022-03-03 23:25 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

dremio 社区版JdbcStoragePlugin 简单说明
摘要：目前来说dremio JdbcStoragePlugin 是没有开源的如果需要学习就需要通过反编译的手段，目前来说 参考类图 从下图可以看出jdbcstorageplugin 也是依赖storageplugin开发的，扩展了SupportsListingDatasets以及SupportsExter 阅读全文

posted @ 2022-03-03 21:12 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑

dremio 社区版本scheduler 任务池加载处理机制简单说明
摘要：dremio 当前发行版本包含了已给社区版本的调度，此包的加载还是比较有意思的 参考处理机制 TaskPoolInitializer start 中会进行taskpool 的创建 @Override public void start() throws Exception { final TaskP 阅读全文

posted @ 2022-03-03 00:17 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

dremio 社区版目前依赖的一些闭源包
摘要：dremio 并不是100%开源的，其中就包含一些以dremio-ce 开头的包，目前这些包是在构建阶段打包进去的 但是这些包还是比较重要的，比如jdbc，es，kernel 以及scheduler 参考清单 基于20.1.0 版本的 dremio-ce-elasticsearch-plugin-2 阅读全文

posted @ 2022-03-02 20:51 荣锋亮 阅读(252) 评论(0) 推荐(0) 编辑

dremio 源码分析学习的几个方便工具
摘要：很多时候我们需要开发自己的dremio 扩展（jdbc arp 扩展，存储扩展，格式扩展），dremio 代码相对是比较多的学习起来还是不好弄的，但是我们可以结合一些工具简化我们代码的问题 可选工具 arthas 使用此工具可以很好的了解调用链（方便对于调用链分析） jprofiler 很多时候我们 阅读全文

posted @ 2022-03-02 18:18 荣锋亮 阅读(230) 评论(0) 推荐(0) 编辑

dremio CTAS 以及DROP 功能简单说明
摘要：dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的，而且这个功能很好扩展 可修改存储扩展接口定义 从下图可以看出，对于可变存储，也是继承自StoragePlugin，只是扩展了自己的方法，包含了 不少数据修改的操作，对于CTAS 以及DROP 就是基于此能力提供的 s3 阅读全文

posted @ 2022-03-02 13:15 荣锋亮 阅读(105) 评论(0) 推荐(0) 编辑

dremio 社区flight 格式化扩展说明
摘要：实际上代码来自一个老项目，现在dremio 的变动还是很大的，项目是运行不起来的，但是还是很值得学习参考的 开发说明 formation 是基于dremio 3.0 版本，特别老的，，此版本对于reader 以及writer的处理还是很复杂的，代码量很大， 详细的可以参考代码，开发机制相对有点复杂， 阅读全文

posted @ 2022-03-02 13:11 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

minio 支持移除server pool
摘要：从minio 2022-01-25 版本开始，官方就支持了一种server pool 的退役操作，主要的常见是服务器资源过了生命周期（当然对于扩容，也是可以凑合使用的，只是迁移时间可能会比较长） 说明 server pool 的退役操作是永久的不能回退必须注意，后边可以测试下,很久没太关注minio 阅读全文

posted @ 2022-03-01 23:27 荣锋亮 阅读(311) 评论(0) 推荐(0) 编辑

Metriql 无头bi 工具
摘要：Metriql 无头bi 工具,核心是基于dbt 的能力进行聚合处理 参考图 Metriql 的玩法 集成dbt 进行数据模式管理 中心化管理metrics 基于rest api，bi 工具 （bi 工具上复用了trino 、presto 驱动） 说明 Metriql 的设计还是很巧妙的，直接利用了 阅读全文

posted @ 2022-03-01 20:15 荣锋亮 阅读(334) 评论(0) 推荐(0) 编辑

dremio arrow flight 协议server实现——DremioFlightProducer代码简单介绍
摘要：DremioFlightProducer 包含了dremio 关于arrow flight 实现的核心部分 FlightProducer 接口定义 对于producer 的实现主要是实现 FlightProducer，包含的方法如下 方法代表的意义 dremio 对于FlightProducer的实 阅读全文

posted @ 2022-03-01 18:44 荣锋亮 阅读(317) 评论(0) 推荐(0) 编辑

dremio arrow flight 协议实现——简单说明
摘要：dremio是一直在推广arrow flight 的，很早dremio 就已经直接支持了，以下是简单的说明下具体的参考实现 arrow flight 协议实现要求 dremio 参考集成 （此图属于客户端的rpc 访问关系） 代码结构 dremio 对于arrow flight 的实现是开发了一个标 阅读全文

posted @ 2022-03-01 11:56 荣锋亮 阅读(483) 评论(0) 推荐(0) 编辑

haproxy dataplaneapi 2.5 发布
摘要：haproxy dataplaneapi 2.5 就在几天前已经发布了，支持了不少新特性，总的来说还是稳定性提升，相对来说越来越稳定，提供官方文档也提供了一个做金融云公司的集成玩法，还是值得学习的 参考资料 https://github.com/haproxytech/dataplaneapi/re 阅读全文

posted @ 2022-03-01 11:54 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

导航