01 2023 档案

dremio 23 版本反射问题最新说明
摘要：此问题，官方已经确认是在进行反射替换的时候有问题，同时预计会在24 版本解决，但是目前暂时还没有发布（官方对于社区版的支持不是很好。。。。） 参考资料 https://community.dremio.com/t/dremio-23-not-match-any-reflections-with-mi 阅读全文

posted @ 2023-01-31 22:55 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

dremio provision 模式功能简单说明
摘要：目前此功能主要是支持yarn 等资源调度的，在dremio 系统中名称为弹性引擎 ProvisioningService 服务接口定义 参考类图 不同类型的实现 具体操作是由ProvisioningServiceDelegate定义进行操作的，并在dremio 启动的时候会包含相关服务能力的创建，因 阅读全文

posted @ 2023-01-31 22:51 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

dremio provisioning 几种模式简单介绍
摘要：主要是包含了基于云以及yarn 模式的部署 aws eks azure arm azure aks yarn 模式 标准集群模式 说明 以上集中模式包含了软件以及在云端部署的（与cloud 模式是不一样的），而且从dremio 目前的发展来说软件模式的基本不太推荐了，主要是cloud 模式了差异性还 阅读全文

posted @ 2023-01-31 21:17 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

jd-gui mac 运行needs Java "1.8+" 问题
摘要：说明此问题网上已经有不少解决方法了，主要是记录下，我运行出现问题的原因是因为升级了操作系统，同时调整sdkman 默认java 版本信息（以前调整java 版本信息也是木有问题的） 快速解决方法参考如下图 就是调整java 1.8+ 为 1.8 参考资料 https://github.com/jav 阅读全文

posted @ 2023-01-30 20:41 荣锋亮 阅读(107) 评论(0) 推荐(0) 编辑

dremio ioc 机制简单说明
摘要：dremio 对于服务的依赖管理以及处理没有直接使用google guice，而是dremio 自己包装了一个类似guice的ioc 能力 提供的能力说明 因为对于ioc 来说需要包含不同的几种服务注入模式（属性注入，构造函数注入），服务也会包含不同的scope （单例，实例，provider模式） 阅读全文

posted @ 2023-01-29 21:34 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

通过DACModule 模块学习dremio 服务模块依赖关系之 bootstrap
摘要：以前有简单介绍过dremio 的DACModule 模块，核心就是进行服务的启动以及依赖管理维护，接口实现了包含了bootstrap 以及build 区别在于bootstrap管理的是一些需要提前准备好的服务（比如协调服务，master 选举服务，还有就是一些引擎相关的，但是社区版没有实现） boo 阅读全文

posted @ 2023-01-28 20:49 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

使用provisio-maven-plugin+ airlift launcher 开发类似trino 的运行包
摘要：如果运行过trino 或者presto 会发现比较方便，配置放的特别清晰，而且包含了方便的cli 工具，实际上trino 或者presto 内部也是基于了 provisio-maven-plugin+ airlift launcher 进行软件包处理的 参考打包配置 参考项目可以与阅读trino 或 阅读全文

posted @ 2023-01-27 20:43 荣锋亮 阅读(200) 评论(0) 推荐(0) 编辑

airlift 简单试用
摘要：airlift 使用简单，而且周边集成也不少，只是官方文档比较少，使用最多的也是trino 以及presto 中，trino 代码基于airlift 框架的开发代码看起来是 很简洁的 项目结构 ├── README.md ├── app # 实际应用，使用airlift 开发的，包含了静态页面以及简 阅读全文

posted @ 2023-01-27 19:52 荣锋亮 阅读(364) 评论(0) 推荐(0) 编辑

airlift java rest 服务框架
摘要：airlift 是一个轻量，快速的java rest 服务开发框架，属于trino 的基础框架，airlift 集成了不少轻量的工具包同时包含了不少不错的实践（比如配置管理，组件生命周期管理，http 客户端，数据库链接池，http server，并行，日志，打包） 说明 如果需要开发一个快速的ja 阅读全文

posted @ 2023-01-26 20:33 荣锋亮 阅读(210) 评论(0) 推荐(0) 编辑

caddyserver 架构简单说明
摘要：内容来自官方文档，通过了解可以更好的学习以及使用caddyserver 概述 caddy 包含了command，core library，以及modules，command 主要是关于cli 命令的core library 主要进行配置管理，可以Run() 以及Stop() 相关配置，同时也提供了一 阅读全文

posted @ 2023-01-25 15:17 荣锋亮 阅读(278) 评论(0) 推荐(0) 编辑

caddyserver 生产运行一种玩法实践
摘要：实际上就是一个尝试，毕竟如果生产使用了caddyserver 做为一些核心业务只是需要做不少考虑的 参考图 备注：以上图是基于自建acme 服务处理的（比较适合内部服务），因为caddyserver 同时存储tls 配置以及基于api 的配置，所有对于单机部署模式有一些调整，后边介绍 集成说明 ac 阅读全文

posted @ 2023-01-25 14:25 荣锋亮 阅读(173) 评论(0) 推荐(0) 编辑

cube.js 一些变动
摘要：cube.js 整体的机制是没有调整的，但是目前从官方介绍可以看出，已经从以前的无头bi 调整为了语义层了，这个也说明了cube.js 在数据处理能力上更加强大了 一张参考图 说明 目前cube.js 支持的数据源，以及集成玩法也越来越多了，比如基于sql 层与大数据周边工具，基于graphql a 阅读全文

posted @ 2023-01-25 12:25 荣锋亮 阅读(256) 评论(0) 推荐(0) 编辑

caddyserver 几个有用的配置参数
摘要：不是介绍caddyserver 的配置参数，核心是关于ssl 证书以及配置存储存储的几个参数 XDG_DATA_HOME 主要是关于caddyserver 基于acme 协议处理证书的，比较有用，可以更好的管理证书存储的位置 XDG_CONFIG_HOME 主要是关于基于api 配置的应用信息，当我 阅读全文

posted @ 2023-01-25 10:33 荣锋亮 阅读(102) 评论(0) 推荐(0) 编辑

Docker 容器添加自定义root ca
摘要：比如如果我们基于了step-ca 工具做为我们的ca 机制，就会有不可信的问题，业务使用就特别不方便了，以下是一个参考配置 实际上很简单就是使用update-ca-certificates 更新信息 参考镜像 FROM nginx:latest COPY root_ca.crt /usr/local 阅读全文

posted @ 2023-01-24 22:47 荣锋亮 阅读(194) 评论(0) 推荐(0) 编辑

step-ca ha 模式说明
摘要：step-ca是一个很不错的开源ca 管理工具，但是如果实际使用就存在ca 的问题 ，实际上官方也说明了ha 的玩法，但是因为step-ca 在架构设计上并不是完全分布式的，所以还是有一些问题的 主要的问题 多实例数据共享（比如ca，acme 信息），就需要一个db了，推荐pg 或者mysql in 阅读全文

posted @ 2023-01-24 22:28 荣锋亮 阅读(95) 评论(0) 推荐(0) 编辑

caddyserver step-ca 集成
摘要：最近在学习caddy2 的一些新特性，以前大致看过step-ca 这个强大的证书管理工具，所以集成caddy+step-ca 的acme 进行测试下 因为acme 需要对于dns 进行校验，但是因为自己是本地测试，解决方法有：修改本地hosts 文件，后者配置自己的dns server ，对于 自己 阅读全文

posted @ 2023-01-24 20:52 荣锋亮 阅读(287) 评论(0) 推荐(0) 编辑

coredns mysql 扩展使用+readyset 试用
摘要：基于db 进行dns 记录的管理还是比较有用的，尤其在一些开发环境中，以下是一个使用 同时也会尝试集成readyset（但是木有成功，应该是mysql 编码兼容的问题） 添加&构建插件 方法比较简单，官方有比较完整的文档说明，主要就是修改plugin.cfg 文件，同时通过go get 获取插件，然 阅读全文

posted @ 2023-01-23 19:18 荣锋亮 阅读(297) 评论(0) 推荐(0) 编辑

caddyserver nginx adaper 简单说明
摘要：caddyserver 包含了一个强大的adapter 架构设计，我们可以方便的进行 caddyserver 扩展 nginx 扩展的处理核心也是基于adapter 模块扩展的，通过解析nginx.conf 文件，然后转换为json 格式内容 参考处理 func init() { // 注册Adap 阅读全文

posted @ 2023-01-23 11:18 荣锋亮 阅读(181) 评论(0) 推荐(0) 编辑

dremio web sql api 执行简单说明
摘要：通过web sql 直接我们可以了解一些dremio 查询执行的处理，对于web sql 执行来说如果从实际来说应该包含了两类: 通过rest api 执行sql 的以及通过web ui 操作的 rest api sql 执行 sql 查询流程为: 先提交任务，然后通过任务id 或者sql 执行的状 阅读全文

posted @ 2023-01-22 23:20 荣锋亮 阅读(97) 评论(0) 推荐(0) 编辑

dremio api 简单说明
摘要：以前在简单介绍dremio webserver 的时候提过dremio 的api，实际上包含了两大部分，一个是为了bff的（方便前端使用的），一个是独立的rest api 方便业务调用的（实际上就是官方文档中看到的） 接口开发处理 rest api 以及bff api 都是基于jax-rs 标准开发 阅读全文

posted @ 2023-01-22 20:49 荣锋亮 阅读(81) 评论(0) 推荐(0) 编辑

pulp_ansible galaxy 私服工具
摘要：pulp_ansible 可以帮助我们创建私有的galaxy 包含的特性 按需镜像部分roles 镜像多有galaxy roles 按需存储私有ansible roles 使用 ansible-galaxy cli 通过pulp_ansible 安装roles 基于时间的版本化role 内容，可以进 阅读全文

posted @ 2023-01-21 23:56 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

readyset 轻量级pg 以及mysql 缓存引擎
摘要：readyset是基于rust 开发的pg 以及mysql 轻量级缓存服务 参考玩法 如下图 说明 readyset 一些设计还是很有意思的，很值得学习，同时也可以在项目中尝试使用 参考资料 https://github.com/readysettech/readysethttps://docs.r 阅读全文

posted @ 2023-01-21 23:09 荣锋亮 阅读(359) 评论(0) 推荐(0) 编辑

typesafe config 简单试用
摘要：以前我简单介绍过dremio 关于typesafe config 的使用说明，还是比较强大的，以下是一个简单的学习使用 项目配置 参考图 内容 application.conf 会引用defaultvalues.conf，dremio 会自动帮助我们处理 application.conf inclu 阅读全文

posted @ 2023-01-21 23:04 荣锋亮 阅读(166) 评论(0) 推荐(0) 编辑

dremio 的 telemetry 处理简单说明
摘要：dremio 实际上添加了支持基于opentelemetry 的监控处理,代码处理上官方是已经支持了metrics ，当然也是支持trace的 参考处理机制 处理上基于了配置，同时利用了jackson 多太类型处理，以及基于spi模块加载机制 配置加载 包装了TelemetryConfigurato 阅读全文

posted @ 2023-01-21 22:56 荣锋亮 阅读(84) 评论(0) 推荐(0) 编辑

dremio ClusterCoordinator 服务简单说明
摘要：dremio ClusterCoordinator 主要是处理集群任务协商的，比如那些服务可以在什么节点上运行，以及对于查询具体这么执行，对于元数据应该如果存储以及元数据如何进行刷新，同时还包含了节点的任务处理 相关实现类 目前官方包含了基于zk的软件运行模式，以及本地集群模式的，当然好包含了一个方 阅读全文

posted @ 2023-01-21 17:59 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

cratedb 支持游标了
摘要：好久没太关注cratedb了，就在最近看了下发现支持游标了，还是很强大的，值得体验试用下，以前我在尝试集成cratedb 与hasura 的时候发现了一些问题，从目前的一些特殊，似乎是可以尝试下集成（同时hasura 的元数据服务与纳管的数据库也已经分离了） 参考资料 https://crate.i 阅读全文

posted @ 2023-01-20 23:28 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

dremio backend webserver 简单说明
摘要：dremio 的webserver 是基于jetty+jersey 开发的web server 同时也和标准的dremio 服务一样实现了service 接口方便服务的启动 具体是由DACDaemon 调用触发的启动 webserver start 服务 @Override public void 阅读全文

posted @ 2023-01-20 22:43 荣锋亮 阅读(41) 评论(0) 推荐(0) 编辑

dremio daemon 的admin 管理cli 简单说明
摘要：admin cli 提供了对于dremio 维护的能力，包含了备份，清理元数据，导出profile，nessie 维护，恢复，更新kv 存储、重置密码。。。 修复acl （企业版特性） 参考代码处理 基于了注解以及类扫描机制 代码 public static void main(String[] a 阅读全文

posted @ 2023-01-20 17:33 荣锋亮 阅读(68) 评论(0) 推荐(0) 编辑

dremio DACModule 模块简单说明
摘要：DACModule 核心是进行dac 一个帮助类，进行一些依赖的处理，方便在DACDaemon 中使用，同时官方为了支持自定义 基于动态类创建进行了扩展（DremioDaemon 处理的） 接口定义 参考类图 备注： 会发现包含两个SingletonRegistry （bootstrap的以及一个普 阅读全文

posted @ 2023-01-20 10:55 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

dremio DACDaemon 简单说明
摘要：通过DremioDaemon 我们知道dremio 服务的启动时通过DACDaemon 处理的 DACDaemon的启动 <wiz_code_mirror> // 包含了DACConfig，模块的类扫描结果， DACModule 模块实现（可以通过配置选择的，比如自定义自己的） DACDaemon. 阅读全文

posted @ 2023-01-19 22:30 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

dremio DremioDaemon 简单说明
摘要：DremioDaemon 的核心是启动dremio服务同时进行一些依赖的注入 简单启动说明 包含了自动更新处理（主要是kv 存储的，后边会介绍dremio 一些任务） 查找DACModule创建类，并初始化内部包含的服务（不少是基于dremio 的service 机制启动的），等待jvm 退出，并处 阅读全文

posted @ 2023-01-19 20:32 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

dremio 的配置处理简单说明
摘要：dremio 的配置基于了typesafe 的config 参考配置 模块级别的配置 sabot-module.conf dremio.classpath.scanning { base.classes += "com.dremio.dac.cmd.upgrade.UpgradeTask" pack 阅读全文

posted @ 2023-01-19 15:54 荣锋亮 阅读(92) 评论(0) 推荐(0) 编辑

dremio DACModule 模块加载简单说明
摘要：dremio DACModule 主要是模块加载初始化以及组合，是一个比较重要的模式，同时也支持基于配置进行加载（有点很多了，后边简单介绍） 加载机制 支持配置加载 可以通过dremio 运行配置文件添加dremio.daemon.module.class 支持 services: { coordi 阅读全文

posted @ 2023-01-19 11:56 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

maven flatten-maven-plugin 插件简单说明
摘要：maven flatten-maven-plugin 是一个比较有意思的项目，核心是对于我们发布的包提供一些简洁清晰的使用，去除掉哪些没用的（比如父pom 信息 ，profile 信息。。。） 参考使用 maven flatten-maven-plugin 使用比较简单，就是添加插件，几个简单配置就 阅读全文

posted @ 2023-01-17 23:21 荣锋亮 阅读(1492) 评论(0) 推荐(0) 编辑

maven maven-assembly-plugin 开发自己的descriptorRef
摘要：日常中大家应该使用过maven-assembly-plugin 进行软件打包，maven-assembly-plugi 内部已经提供了几个开箱即用的descriptorRef， 主要是: bin,jar-with-dependencies,project,src 实际处理可以参考插件源码，我们一般都 阅读全文

posted @ 2023-01-17 23:14 荣锋亮 阅读(754) 评论(0) 推荐(0) 编辑

dremio distribution 模块简单说明
摘要：以下简单说明下dremio distribution，distribution 核心是进行项目的发布，这种模式经常在apache 类似项目中看到 参考项目结构 简单说明 jdbc-driver 还是是对于jdbc 驱动的处理，实际上在dremio 的client/jdbc 中已经包含了jdbc 驱动 阅读全文

posted @ 2023-01-17 19:57 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

dremio dac 模块简单说明一
摘要：dremio dac 模块在官方的定义中是dremio 分析中心的意思，代码上包含了，backend，common,daemon, ui 模块的功能 backend dremio 的server 部分，在构建打包之后会包含ui 部分的组件（前端），基于jersey 开发的web server ioc 阅读全文

posted @ 2023-01-17 19:30 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

step-ca 测试试用
摘要：环境准备 docker-compose version: '3' services: ca: image: smallstep/step-ca ports: - 9000:9000 environment: - DOCKER_STEPCA_INIT_NAME=dalongrong - DOCKER_ 阅读全文

posted @ 2023-01-15 21:30 荣锋亮 阅读(281) 评论(0) 推荐(0) 编辑

smallstep certificates 开源ca 管理工具
摘要：smallstep certificates 开源ca 管理工具 包含的特性 快速初始化内部pki 安全的处理证书 边界的自己重新申请 强大的集成能力，包含了cli 工具，以及api，同时可以很好的集成到ci/cd 中 说明 hashicorp 的vault 是一个类似的pki 管理工具，同时cad 阅读全文

posted @ 2023-01-15 10:12 荣锋亮 阅读(272) 评论(0) 推荐(0) 编辑

caddyserver 新架构
摘要：好久没有太关注caddyserver了，今天在查看dgraph cloud的时候发现dgraph cloud 就使用了caddyserver 做为自己的api server，然后仔细看了下新版本caddyserver 的一些特性，发现真的很强大了 支持的新特性 live 配置api 高效，简单 支持 阅读全文

posted @ 2023-01-14 22:04 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

sysend.js 跨浏览器tabs 同步类库
摘要：sysend.js 提供了跨浏览器tabs 数据同步的能力，利用了不少浏览器的特性 (localstoreage api 以及broadcastchannel api) 参考使用 index.html <!DOCTYPE html> <html lang="en"> <head> <meta cha 阅读全文

posted @ 2023-01-13 17:09 荣锋亮 阅读(125) 评论(0) 推荐(0) 编辑

maven java.lang.IllegalArgumentException: Malformed \uxxxx encoding 问题解决
摘要：网上应该是不少类似的解决方法，主要是记录下，核心是删除解析有问题的包 参考命令 find <path to maven local repo > -name resolver-status.properties -delete 参考资料 https://stackoverflow.com/quest 阅读全文

posted @ 2023-01-13 13:14 荣锋亮 阅读(0) 评论(0) 推荐(0) 编辑

dremio FragmentExecutor 的执行顺序简单说明
摘要：dremio 在执行计划物理计划转换之后，对于执行计划会包含不同的fragment，fragment 会组成一颗树，包含了PlanFragmentMajor以及PlanFragmentMinor 对于组成的树之后dremio 就需要调度执行了（里边会包含资源分配，优先级，运算操作,大致处理可以参考d 阅读全文

posted @ 2023-01-13 11:28 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

dremio ConduitServer 简单说明
摘要：ConduitServer 是基于grpc 开发的服务，通过提供的ConduitServiceRegistry 进行定义服务的注册 实现并注册的服务 参考下图，都是grpc 的实现，可以看出包含了不少，比如datasetcatalog，informationschema，option，nessise 阅读全文

posted @ 2023-01-13 11:26 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

dremio FabricServer 服务简单说明
摘要：FabricServer 主要是对于dremio内部rpc 的通信，包含了调度节点与执行节点的通信以及内部的一些命令处理 FabricServer 是通过FabricServiceImpl 进行实际服务的创建管理（dremio 服务组件的一个套路实现了service 接口会 包含start 方法） 阅读全文

posted @ 2023-01-12 19:39 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

apache drill rpc 简单说明
摘要：drill 是基于netty 4 做为rpc的底层处理，同时基于了 protobuf 进行通信层的处理（减少堆数据的传输）客户端以及server 都利用了CompleteRpcMessage protobuf 消息包装进行request，response 以及errors 处理通信是使用流模式 进行 阅读全文

posted @ 2023-01-12 17:02 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

dremio FragmentStarter 简单说明
摘要：FragmentStarter 主要进行FragmentExecutor的启动管理 Fragment 执行简单说明 dremio 对于Fragment的执行与apache drill 是一致的，会包含root，中间，以及leaf，同时Fragment 会包含 major 以及 minor fragm 阅读全文

posted @ 2023-01-11 20:57 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

dremio PhysicalPlanReader 简单说明
摘要：dremio 在经过sql 解析，sql转换，优化器，物理执行计划，会包含一个基于jackson序列化的格式的执行计划信息（整体与drill是类似的） 提供的能力 注册自定义的jackson 序列化处理模块（包含了protobuf），以及子类型（connectionReader 以及Physical 阅读全文

posted @ 2023-01-11 19:49 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

cdc-file-transfer 使用说明
摘要：cdc-file-transfer 主要是场景是windows 到linux 主机的数据同步，包含了stream 以及rsync 两大工具 使用注意事项 首次执行会进行server copy，但是目前有点问题，如下，通过测试似乎和openssh 版本有关系，使用最新的没发现问题 linux serv 阅读全文

posted @ 2023-01-10 17:10 荣锋亮 阅读(238) 评论(1) 推荐(1) 编辑

cdc-file-transfer 谷歌开源的windows 到linux 同步工具
摘要：cdc-file-transfer 是基于content defined chunking 以及fastcdc 技术，cdc-file-transfer 目前提供了两种工具cdc_rsync 类似rsync 的同步能力，进行文件拷贝，但是性能相比rsync 会有30x的提升cdc_stream 基于 阅读全文

posted @ 2023-01-10 13:18 荣锋亮 阅读(207) 评论(0) 推荐(0) 编辑

dremio ctas 内部原理简单说明
摘要：ctas 从使用上就是一个sql 操作，dremio 会基于sql 生成逻辑计划，然后到物理计划，之后到执行计划，然后会转变为对于支持写入操作 数据源的操作（目前包括了parquet 格式以及iceberg格式）, 当前对于支持CTAS 的主要是分布式存储（NAS，对象存储。。。）.我以前 简单说明 阅读全文

posted @ 2023-01-10 12:52 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

dremio FormatMatcher 简单说明
摘要：FormatMatcher 核心是对于文件系统进行进行格式匹配，方便查询以及执行引擎了解具体支持的数据格式，进行实际数据的处理 每个FormatPlugin 都需要包含一个格式化匹配器 参考类图 IcebergFormatMatcher 参考处理 参考iceberg table 格式 参考代码 /* 阅读全文

posted @ 2023-01-10 11:59 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dremio cloud 参考架构
摘要：实际上以前官方包含了一些简单的介绍，但是后边似乎把相关的图删除了，但是官方还是提供了一个白皮书，里边包含了比较完整的介绍 参考架构 概览 总的包含了控制面板（dremio vpc 的能力）以及执行面板 （用户vpc），控制面板会包含权限，sql ，ui，rest api ，引擎管理，计划，job p 阅读全文

posted @ 2023-01-09 11:55 荣锋亮 阅读(100) 评论(0) 推荐(0) 编辑

neon serverless postgres 简单试用
摘要：内容来自官方的docker-compose 内容，主要是测试试用 参考架构 从以上图可以看出，neon 应该包含了几个组件，safekeeper，pageserver，计算节点，以及对象存储，运行的服务也是参考此部署的，safekeeper 需要至少3个节点 实现了选举机制，内部试用了 部署dock 阅读全文

posted @ 2023-01-08 12:39 荣锋亮 阅读(502) 评论(0) 推荐(0) 编辑

dremio singlestore arp 扩展
摘要：此插件来自singlestore官方的，基于了dremio 23.1 版本开发 conf 配置类 @SourceType(value = "SINGLESTOREARP", label = "SingleStore", uiConfig = "singlestore-layout.json", ex 阅读全文

posted @ 2023-01-08 11:13 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

cosmopolitan 跨平台的c 库
摘要：cosmopolitan 是一个c 库，实现了构建一次，多次运行，在简单看了介绍之后还是很不错的，对于需要尝试狂平台运行的值得尝试下而且github 上还是很活跃的 参考资料 https://github.com/jart/cosmopolitan 阅读全文

posted @ 2023-01-07 22:49 荣锋亮 阅读(248) 评论(0) 推荐(0) 编辑

score 开源工作负载指南
摘要：score 是基于容器的，开源，平台无关的，工作负载指南，基于一套命令可以解决k8s。docker-compose 等各种环境的问题 说明 score 是一个很不错的工具，我们以前包含了terraform，或者基于jsonnet 的管理，score 使用起来也是很简洁的，而且可以自己进行扩展，还是值 阅读全文

posted @ 2023-01-07 22:41 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

neon serverless postgres 服务
摘要：neon 是开源的基于rust 开发的serverless postgres 服务 支持的特性 计算存储隔离 分支 无限存储 自动缩放 架构 包含pageserver，计算节点的处理 safekeepers，进行wal 服务的管理 参考图可以看出数据在对象存储中 参考资料 https://githu 阅读全文

posted @ 2023-01-07 22:35 荣锋亮 阅读(225) 评论(0) 推荐(0) 编辑

dremio 系统内部存储插件与自定义存储插件加载的区别
摘要：dremio 整体包含了两大类存储扩展，系统内部使用的，以及用户开发的， 整体区别 系统的目前是在dremio 自己启动的时候就会注册以及使用的，比如加速反射的，home，元数据存储插件 用户自己开发的主要是通过web ui 或者api 初始化以及维护的 用户以及系统存储配置的可配置性不一样，系统不 阅读全文

posted @ 2023-01-06 21:06 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

类似git 的数据版本管理工具
摘要：git 是一个很不错的svc 系统，当前基于git 的玩法是越来越多了，比如gitops，基于git 的数据管理也是包含了不少的开源实现 基于git 玩法的好处 版本化，可以实现特定版本的只读活着灵活管理，有些系统是支持不可变模式的，可以防止数据被随意修改 可管理化，可以实现数据即代码，数据不在是杂 阅读全文

posted @ 2023-01-06 17:27 荣锋亮 阅读(472) 评论(0) 推荐(0) 编辑

minio+avc+rclone 集成试用
摘要：avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用 环境准备 安装avc+rclone 工具 可以通过官方下载使用 docker-compose version: '3' services: minio: image: minio/minio ports: 阅读全文

posted @ 2023-01-06 11:34 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

jmxterm 基于jmx 的开源cli 工具
摘要：实际上就是一个类似jconsole 的可选工具，还是很不错的，使用简单，比如适合在linux 以及对于容器环境 参考使用 下载 直接通过官方地址就可以了 运行 说明 apache kafka 官方包含了一个值得学习的文档，值得看看 参考资料 https://docs.cyclopsgroup.org 阅读全文

posted @ 2023-01-06 09:44 荣锋亮 阅读(120) 评论(0) 推荐(0) 编辑

gdb 几个不错的gui 工具
摘要：使用gdb 我们可以方便的进行软件调整，以下是几个不错的gui 工具，可以方便调试，共享 gdb-frontend ui 还是很不错的，同时包含了一个web 体验的，值得看看 gdbgui 这个支持的比较多了，包含了c，c++，golang，rust，fortran。。。。。 参考资料 https: 阅读全文

posted @ 2023-01-06 09:17 荣锋亮 阅读(233) 评论(0) 推荐(0) 编辑

dremio PrivilegeCatalog 接口简单说明
摘要：PrivilegeCatalog 实际是一个权限检查的能力,同时dremio 的StoragePlugin 也提供了一个安全check 能力 StoragePlugin安全检查 boolean hasAccessPermission(String user, NamespaceKey key, Da 阅读全文

posted @ 2023-01-05 19:53 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

dremio SourceCatalog 服务说明
摘要：SourceCatalog 主要进行source 的管理，包含了获取信息，创建，更新，删除，包含了不同的实现 SourceCatalog 服务定义 /** * Interface to perform actions on sources. */ // PrivilegeCatalog 可以实现权限 阅读全文

posted @ 2023-01-05 13:05 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

dremio ManagedStoragePlugin 简单说明
摘要：ManagedStoragePlugin 从字面意思可以看出就是托管存储插件，从目前官方的设计来说就是将 自己开发的存储扩展，包装为dremio 可以管理的插件（统一模型以及统一处理） ManagedStoragePlugin 提供的能力 数据源信息维护，插件会包含一个关联的数据源 元数据策略 数据 阅读全文

posted @ 2023-01-05 13:02 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

dremio DatasetSaver 服务说明
摘要：我以前简单写过关于元数据处理的说明（基于jprofiler+arthas 工具）会依赖namespace 服务 实际对于数据的操作都是通过SourceMetadataManager 执行的 DatasetSaver 服务提供的能力 核心提供的能力 主要是包装DatasetSaver 处理元数据的保存 阅读全文

posted @ 2023-01-04 18:33 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

dremio datastore简单说明
摘要：datastore 实际上是进行数据存储的实现（主要是配置以及元数据相关的）不少服务都使用到了此功能（namespace,catalog,user,job ） 实际上dremio 官方对于dremio 的部署（软件版，尤其是是社区版）有比较明确的说明，需要zk 以及本地存储（或者nas）对于协调节点 阅读全文

posted @ 2023-01-04 11:51 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

piperider 开源数据可靠性工具
摘要：piperider 是基于python 的数据可靠性工具，主持数据的profile ，数据的测试以及数据的可观测性以及监控 核心特性 基于sql，同时支持csv 数据profule 的特性，包含了metrcis以及重复，唯一，缺少。。。 数据测试，基于内置的断言定义 基于运行的profile启动生成 阅读全文

posted @ 2023-01-04 11:50 荣锋亮 阅读(170) 评论(0) 推荐(0) 编辑

nginx-clojure 调试简单试用
摘要：对于nginx-clojure 的调试实际上就是基于jdwp 参考配置 nginx.conf jvm_options "-agentlib:jdwp=transport=dt_socket,address=*:909#{pno},server=y,suspend=n"; 效果 idea 配置 调试效 阅读全文

posted @ 2023-01-03 21:09 荣锋亮 阅读(126) 评论(0) 推荐(0) 编辑

dremio 表函数简单说明
摘要：dremio 对于表函数的处理实际上还是基于了apcahe calcite ，只是对于dremio 来说，使用相对不是很多 目前dremio 比较多的就是外部查询，还有就是关于iceberg 的一些支持函数 参考使用 外部查询 SELECT b.customer_id, a.product_id, 阅读全文

posted @ 2023-01-03 18:32 荣锋亮 阅读(117) 评论(0) 推荐(0) 编辑

nginx-clojure java 集成试用
摘要：主要是基于java 开发一个简单的扩展，学习下流程 java 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:// 阅读全文

posted @ 2023-01-03 11:52 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

apache drill 提供的physical-operators 以及说明
摘要：当前支持物理操作 分布式操作 主要是通过网络的，包含以下操作 join 操作 聚合操作 排序以及分页 投影操作 过滤以及相关操作 集合操作 扫描操作 接受操作 发送操作 文件写操作 说明 drill 的一些官方文档对于学习dremio 还是很有用的，了解以上的一些物理操作器，可以更好的学习dremi 阅读全文

posted @ 2023-01-03 11:50 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dremio 数据存储结构示例
摘要：从dremio 运行系统摘录一些存储结构，方便了解dremio 分布式存储（主要以对象存储为主，当然nas 也是可以使用的） 部分，整体结构类似，但是文件夹名称可能会不要一样（反射内部的存储结构是一致的） 主要包含了反射，下载，上传，一致job 执行结果 ├── accelerator │ ├── 阅读全文

posted @ 2023-01-03 11:48 荣锋亮 阅读(67) 评论(0) 推荐(0) 编辑

nginx-clojure docker 镜像
摘要：主要是一个测试，方便学习使用nginx-clojure 强大的能力 dockerfile 直接基于了openjdk:10-slim 基础镜像，同时基于copy 文件的格式处理 FROM openjdk:10-slim WORKDIR /usr/local/nginx COPY nginx-cloju 阅读全文

posted @ 2023-01-02 23:17 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

dremio NamespaceService 简单说明一
摘要：此处主要说明社区版dremio namspaceservice 包含的一个能力，我们如果自己扩展下就可以实现简单的部分权限管理 参加定义类图 如下如可以看出namspaceservice 提供的能力 一个额外的能力 接口定义 interface Factory { /** * Return a na 阅读全文

posted @ 2023-01-02 22:18 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

dremio 的加速文件系统插件简单说明
摘要：dremio 包含一个强大的功能就是反射加速，dremio 为了对于反射数据的存储开发了自己的文件系统插件 插件类图 parquet 以及iceberg 的支持 从start 入口可以看出包含了不同的处理，实际上dremio 从21 版本开始就默认基于了iceberg 存储了（同时也需要分布式存储） 阅读全文

posted @ 2023-01-02 21:57 荣锋亮 阅读(76) 评论(0) 推荐(0) 编辑

dremio ClassPathScanner 简单说明
摘要：ClassPathScanner 实际上是dremio 基于配置+约定的类扫描处理，为了性能同时使用了开源的reflections 工具包 约定 主要扫描包含以下约定key 的类或者包 /** Configuration pathname to list of names of packages t 阅读全文

posted @ 2023-01-02 21:37 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

dremio formatPlugin 调用链
摘要：格式化插件在dremio 中是比较核心的，包含了不少格式化插件，了解格式化插件的执行可以更好的开发自己的扩展以及了解dremio的内部机制 以下是基于arthas 分析的一个调用链可以参考 调用链 stack parquet format plugin stack com.dremio.exec.s 阅读全文

posted @ 2023-01-02 10:08 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

gluon 基于浏览器+nodejs 的桌面应用开发框架
摘要：gluon 基于浏览器+nodejs 的桌面应用开发框架，好处是相对轻量，只使用系统浏览器，对于nodejs 可以支持包含以及不包含模式目前支持chrome 以及firfox 浏览器器，打包的应用相对比较小，同时内存使用也比较少 官方对比 说明 tauri 是基于rust 的性能很不错，目前就是不太 阅读全文

posted @ 2023-01-02 09:36 荣锋亮 阅读(955) 评论(0) 推荐(0) 编辑

nginx-clojure nginx clojure & java & groovy 模块
摘要：nginx-clojure 是一个nginx 扩展模块，让我们可以直接运行 clojure & java & groovy ，还是比较强大的，支持的功能也不少我们可以直接基于jvm 对于nginx 进行扩展了，还是值得尝试的 说明 但是因为jvm 的特殊性（算是比较重），目前看到社区也有一些构建好的 阅读全文

posted @ 2023-01-01 23:34 荣锋亮 阅读(140) 评论(0) 推荐(0) 编辑

haproxy 2.7 发布
摘要：就在最近haproxy 2.7 发布了 支持的新特性 流量整形，新的不少指令，比如filter bwlim-out 以及filter bwlim-in 还包含了response 以及request 的流量处理 支持更大的线程，以前包含了64 线程数的限制 更好的health check 性能 htt 阅读全文

posted @ 2023-01-01 21:15 荣锋亮 阅读(172) 评论(0) 推荐(0) 编辑

sccache 基于rust 类似ccache 的编译cache 工具
摘要：sccache 类似ccache 的编译cache 工具，支持基于本地磁盘，或者云对象存储 特性 基于c/c++ ，rust 编译 支持增量编译 rust 集成使用 可以通过定义build.rustc-wrapper ， 基于配置文件 参考配置$HOME/.cargo/config.toml, 注意 阅读全文

posted @ 2023-01-01 20:45 荣锋亮 阅读(325) 评论(0) 推荐(0) 编辑

osv-scanner google 开源漏洞扫描工具
摘要：osv-scanner 是google 基于golang 编写的开源漏洞扫描工具，支持基于osv 数据库的扫描，生态比较好 支持的扫描模式 lockfiles sboms git 项目 说明 osv-scanner 支持的扫描语言还是不少的，而且输出格式也比较友好，比如json 格式，我们可以方便的 阅读全文

posted @ 2023-01-01 20:15 荣锋亮 阅读(850) 评论(0) 推荐(0) 编辑

roapi 基于datafusion+ apache arrow 的多协议api 平台
摘要：roapi 是基于datafusion+ apache arrow 的多协议api 平台，基于rust 开发 参考架构 支持的特性 多协议，graphql，rest api，pg sql 基于datasusion 的查询计划执行 数据层支持多样 基于arrow 数据格式的多样序列化处理 说明 从功能 阅读全文

posted @ 2023-01-01 19:54 荣锋亮 阅读(311) 评论(0) 推荐(0) 编辑

导航