荣锋亮 - 博客园

dremio 的配置处理简单说明

摘要： dremio 的配置基于了typesafe 的config 参考配置模块级别的配置 sabot-module.conf dremio.classpath.scanning { base.classes += "com.dremio.dac.cmd.upgrade.UpgradeTask" pack 阅读全文

posted @ 2023-01-19 15:54 荣锋亮阅读(92) 评论(0) 推荐(0) 编辑

dremio DACModule 模块加载简单说明

摘要： dremio DACModule 主要是模块加载初始化以及组合，是一个比较重要的模式，同时也支持基于配置进行加载（有点很多了，后边简单介绍）加载机制支持配置加载可以通过dremio 运行配置文件添加dremio.daemon.module.class 支持 services: { coordi 阅读全文

posted @ 2023-01-19 11:56 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

maven flatten-maven-plugin 插件简单说明

摘要： maven flatten-maven-plugin 是一个比较有意思的项目，核心是对于我们发布的包提供一些简洁清晰的使用，去除掉哪些没用的（比如父pom 信息，profile 信息。。。）参考使用 maven flatten-maven-plugin 使用比较简单，就是添加插件，几个简单配置就阅读全文

posted @ 2023-01-17 23:21 荣锋亮阅读(1490) 评论(0) 推荐(0) 编辑

maven maven-assembly-plugin 开发自己的descriptorRef

摘要：日常中大家应该使用过maven-assembly-plugin 进行软件打包，maven-assembly-plugi 内部已经提供了几个开箱即用的descriptorRef，主要是: bin,jar-with-dependencies,project,src 实际处理可以参考插件源码，我们一般都阅读全文

posted @ 2023-01-17 23:14 荣锋亮阅读(752) 评论(0) 推荐(0) 编辑

dremio distribution 模块简单说明

摘要：以下简单说明下dremio distribution，distribution 核心是进行项目的发布，这种模式经常在apache 类似项目中看到参考项目结构简单说明 jdbc-driver 还是是对于jdbc 驱动的处理，实际上在dremio 的client/jdbc 中已经包含了jdbc 驱动阅读全文

posted @ 2023-01-17 19:57 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio dac 模块简单说明一

摘要： dremio dac 模块在官方的定义中是dremio 分析中心的意思，代码上包含了，backend，common,daemon, ui 模块的功能 backend dremio 的server 部分，在构建打包之后会包含ui 部分的组件（前端），基于jersey 开发的web server ioc 阅读全文

posted @ 2023-01-17 19:30 荣锋亮阅读(73) 评论(0) 推荐(0) 编辑

step-ca 测试试用

摘要：环境准备 docker-compose version: '3' services: ca: image: smallstep/step-ca ports: - 9000:9000 environment: - DOCKER_STEPCA_INIT_NAME=dalongrong - DOCKER_ 阅读全文

posted @ 2023-01-15 21:30 荣锋亮阅读(278) 评论(0) 推荐(0) 编辑

smallstep certificates 开源ca 管理工具

摘要： smallstep certificates 开源ca 管理工具包含的特性快速初始化内部pki 安全的处理证书边界的自己重新申请强大的集成能力，包含了cli 工具，以及api，同时可以很好的集成到ci/cd 中说明 hashicorp 的vault 是一个类似的pki 管理工具，同时cad 阅读全文

posted @ 2023-01-15 10:12 荣锋亮阅读(272) 评论(0) 推荐(0) 编辑

caddyserver 新架构

摘要：好久没有太关注caddyserver了，今天在查看dgraph cloud的时候发现dgraph cloud 就使用了caddyserver 做为自己的api server，然后仔细看了下新版本caddyserver 的一些特性，发现真的很强大了支持的新特性 live 配置api 高效，简单支持阅读全文

posted @ 2023-01-14 22:04 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

sysend.js 跨浏览器tabs 同步类库

摘要： sysend.js 提供了跨浏览器tabs 数据同步的能力，利用了不少浏览器的特性 (localstoreage api 以及broadcastchannel api) 参考使用 index.html <!DOCTYPE html> <html lang="en"> <head> <meta cha 阅读全文

posted @ 2023-01-13 17:09 荣锋亮阅读(125) 评论(0) 推荐(0) 编辑

maven java.lang.IllegalArgumentException: Malformed \uxxxx encoding 问题解决

摘要：网上应该是不少类似的解决方法，主要是记录下，核心是删除解析有问题的包参考命令 find <path to maven local repo > -name resolver-status.properties -delete 参考资料 https://stackoverflow.com/quest 阅读全文

posted @ 2023-01-13 13:14 荣锋亮阅读(0) 评论(0) 推荐(0) 编辑

dremio FragmentExecutor 的执行顺序简单说明

摘要： dremio 在执行计划物理计划转换之后，对于执行计划会包含不同的fragment，fragment 会组成一颗树，包含了PlanFragmentMajor以及PlanFragmentMinor 对于组成的树之后dremio 就需要调度执行了（里边会包含资源分配，优先级，运算操作,大致处理可以参考d 阅读全文

posted @ 2023-01-13 11:28 荣锋亮阅读(55) 评论(0) 推荐(0) 编辑

dremio ConduitServer 简单说明

摘要： ConduitServer 是基于grpc 开发的服务，通过提供的ConduitServiceRegistry 进行定义服务的注册实现并注册的服务参考下图，都是grpc 的实现，可以看出包含了不少，比如datasetcatalog，informationschema，option，nessise 阅读全文

posted @ 2023-01-13 11:26 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

dremio FabricServer 服务简单说明

摘要： FabricServer 主要是对于dremio内部rpc 的通信，包含了调度节点与执行节点的通信以及内部的一些命令处理 FabricServer 是通过FabricServiceImpl 进行实际服务的创建管理（dremio 服务组件的一个套路实现了service 接口会包含start 方法）阅读全文

posted @ 2023-01-12 19:39 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

apache drill rpc 简单说明

摘要： drill 是基于netty 4 做为rpc的底层处理，同时基于了 protobuf 进行通信层的处理（减少堆数据的传输）客户端以及server 都利用了CompleteRpcMessage protobuf 消息包装进行request，response 以及errors 处理通信是使用流模式进行阅读全文

posted @ 2023-01-12 17:02 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio FragmentStarter 简单说明

摘要： FragmentStarter 主要进行FragmentExecutor的启动管理 Fragment 执行简单说明 dremio 对于Fragment的执行与apache drill 是一致的，会包含root，中间，以及leaf，同时Fragment 会包含 major 以及 minor fragm 阅读全文

posted @ 2023-01-11 20:57 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

dremio PhysicalPlanReader 简单说明

摘要： dremio 在经过sql 解析，sql转换，优化器，物理执行计划，会包含一个基于jackson序列化的格式的执行计划信息（整体与drill是类似的）提供的能力注册自定义的jackson 序列化处理模块（包含了protobuf），以及子类型（connectionReader 以及Physical 阅读全文

posted @ 2023-01-11 19:49 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

cdc-file-transfer 使用说明

摘要： cdc-file-transfer 主要是场景是windows 到linux 主机的数据同步，包含了stream 以及rsync 两大工具使用注意事项首次执行会进行server copy，但是目前有点问题，如下，通过测试似乎和openssh 版本有关系，使用最新的没发现问题 linux serv 阅读全文

posted @ 2023-01-10 17:10 荣锋亮阅读(237) 评论(1) 推荐(1) 编辑

cdc-file-transfer 谷歌开源的windows 到linux 同步工具

摘要： cdc-file-transfer 是基于content defined chunking 以及fastcdc 技术，cdc-file-transfer 目前提供了两种工具cdc_rsync 类似rsync 的同步能力，进行文件拷贝，但是性能相比rsync 会有30x的提升cdc_stream 基于阅读全文

posted @ 2023-01-10 13:18 荣锋亮阅读(207) 评论(0) 推荐(0) 编辑

dremio ctas 内部原理简单说明

摘要： ctas 从使用上就是一个sql 操作，dremio 会基于sql 生成逻辑计划，然后到物理计划，之后到执行计划，然后会转变为对于支持写入操作数据源的操作（目前包括了parquet 格式以及iceberg格式）, 当前对于支持CTAS 的主要是分布式存储（NAS，对象存储。。。）.我以前简单说明阅读全文

posted @ 2023-01-10 12:52 荣锋亮阅读(85) 评论(0) 推荐(0) 编辑

dremio FormatMatcher 简单说明

摘要： FormatMatcher 核心是对于文件系统进行进行格式匹配，方便查询以及执行引擎了解具体支持的数据格式，进行实际数据的处理每个FormatPlugin 都需要包含一个格式化匹配器参考类图 IcebergFormatMatcher 参考处理参考iceberg table 格式参考代码 /* 阅读全文

posted @ 2023-01-10 11:59 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

dremio cloud 参考架构

摘要：实际上以前官方包含了一些简单的介绍，但是后边似乎把相关的图删除了，但是官方还是提供了一个白皮书，里边包含了比较完整的介绍参考架构概览总的包含了控制面板（dremio vpc 的能力）以及执行面板（用户vpc），控制面板会包含权限，sql ，ui，rest api ，引擎管理，计划，job p 阅读全文

posted @ 2023-01-09 11:55 荣锋亮阅读(100) 评论(0) 推荐(0) 编辑

neon serverless postgres 简单试用

摘要：内容来自官方的docker-compose 内容，主要是测试试用参考架构从以上图可以看出，neon 应该包含了几个组件，safekeeper，pageserver，计算节点，以及对象存储，运行的服务也是参考此部署的，safekeeper 需要至少3个节点实现了选举机制，内部试用了部署dock 阅读全文

posted @ 2023-01-08 12:39 荣锋亮阅读(500) 评论(0) 推荐(0) 编辑

dremio singlestore arp 扩展

摘要：此插件来自singlestore官方的，基于了dremio 23.1 版本开发 conf 配置类 @SourceType(value = "SINGLESTOREARP", label = "SingleStore", uiConfig = "singlestore-layout.json", ex 阅读全文

posted @ 2023-01-08 11:13 荣锋亮阅读(30) 评论(0) 推荐(0) 编辑

cosmopolitan 跨平台的c 库

摘要： cosmopolitan 是一个c 库，实现了构建一次，多次运行，在简单看了介绍之后还是很不错的，对于需要尝试狂平台运行的值得尝试下而且github 上还是很活跃的参考资料 https://github.com/jart/cosmopolitan 阅读全文

posted @ 2023-01-07 22:49 荣锋亮阅读(248) 评论(0) 推荐(0) 编辑

score 开源工作负载指南

摘要： score 是基于容器的，开源，平台无关的，工作负载指南，基于一套命令可以解决k8s。docker-compose 等各种环境的问题说明 score 是一个很不错的工具，我们以前包含了terraform，或者基于jsonnet 的管理，score 使用起来也是很简洁的，而且可以自己进行扩展，还是值阅读全文

posted @ 2023-01-07 22:41 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

neon serverless postgres 服务

摘要： neon 是开源的基于rust 开发的serverless postgres 服务支持的特性计算存储隔离分支无限存储自动缩放架构包含pageserver，计算节点的处理 safekeepers，进行wal 服务的管理参考图可以看出数据在对象存储中参考资料 https://githu 阅读全文

posted @ 2023-01-07 22:35 荣锋亮阅读(225) 评论(0) 推荐(0) 编辑

dremio 系统内部存储插件与自定义存储插件加载的区别

摘要： dremio 整体包含了两大类存储扩展，系统内部使用的，以及用户开发的，整体区别系统的目前是在dremio 自己启动的时候就会注册以及使用的，比如加速反射的，home，元数据存储插件用户自己开发的主要是通过web ui 或者api 初始化以及维护的用户以及系统存储配置的可配置性不一样，系统不阅读全文

posted @ 2023-01-06 21:06 荣锋亮阅读(46) 评论(0) 推荐(0) 编辑

类似git 的数据版本管理工具

摘要： git 是一个很不错的svc 系统，当前基于git 的玩法是越来越多了，比如gitops，基于git 的数据管理也是包含了不少的开源实现基于git 玩法的好处版本化，可以实现特定版本的只读活着灵活管理，有些系统是支持不可变模式的，可以防止数据被随意修改可管理化，可以实现数据即代码，数据不在是杂阅读全文

posted @ 2023-01-06 17:27 荣锋亮阅读(471) 评论(0) 推荐(0) 编辑

minio+avc+rclone 集成试用

摘要： avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用环境准备安装avc+rclone 工具可以通过官方下载使用 docker-compose version: '3' services: minio: image: minio/minio ports: 阅读全文

posted @ 2023-01-06 11:34 荣锋亮阅读(90) 评论(0) 推荐(0) 编辑

jmxterm 基于jmx 的开源cli 工具

摘要：实际上就是一个类似jconsole 的可选工具，还是很不错的，使用简单，比如适合在linux 以及对于容器环境参考使用下载直接通过官方地址就可以了运行说明 apache kafka 官方包含了一个值得学习的文档，值得看看参考资料 https://docs.cyclopsgroup.org 阅读全文

posted @ 2023-01-06 09:44 荣锋亮阅读(120) 评论(0) 推荐(0) 编辑

gdb 几个不错的gui 工具

摘要：使用gdb 我们可以方便的进行软件调整，以下是几个不错的gui 工具，可以方便调试，共享 gdb-frontend ui 还是很不错的，同时包含了一个web 体验的，值得看看 gdbgui 这个支持的比较多了，包含了c，c++，golang，rust，fortran。。。。。参考资料 https: 阅读全文

posted @ 2023-01-06 09:17 荣锋亮阅读(232) 评论(0) 推荐(0) 编辑

dremio PrivilegeCatalog 接口简单说明

摘要： PrivilegeCatalog 实际是一个权限检查的能力,同时dremio 的StoragePlugin 也提供了一个安全check 能力 StoragePlugin安全检查 boolean hasAccessPermission(String user, NamespaceKey key, Da 阅读全文

posted @ 2023-01-05 19:53 荣锋亮阅读(42) 评论(0) 推荐(0) 编辑

dremio SourceCatalog 服务说明

摘要： SourceCatalog 主要进行source 的管理，包含了获取信息，创建，更新，删除，包含了不同的实现 SourceCatalog 服务定义 /** * Interface to perform actions on sources. */ // PrivilegeCatalog 可以实现权限阅读全文

posted @ 2023-01-05 13:05 荣锋亮阅读(43) 评论(0) 推荐(0) 编辑

dremio ManagedStoragePlugin 简单说明

摘要： ManagedStoragePlugin 从字面意思可以看出就是托管存储插件，从目前官方的设计来说就是将自己开发的存储扩展，包装为dremio 可以管理的插件（统一模型以及统一处理） ManagedStoragePlugin 提供的能力数据源信息维护，插件会包含一个关联的数据源元数据策略数据阅读全文

posted @ 2023-01-05 13:02 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

dremio DatasetSaver 服务说明

摘要：我以前简单写过关于元数据处理的说明（基于jprofiler+arthas 工具）会依赖namespace 服务实际对于数据的操作都是通过SourceMetadataManager 执行的 DatasetSaver 服务提供的能力核心提供的能力主要是包装DatasetSaver 处理元数据的保存阅读全文

posted @ 2023-01-04 18:33 荣锋亮阅读(30) 评论(0) 推荐(0) 编辑

dremio datastore简单说明

摘要： datastore 实际上是进行数据存储的实现（主要是配置以及元数据相关的）不少服务都使用到了此功能（namespace,catalog,user,job ）实际上dremio 官方对于dremio 的部署（软件版，尤其是是社区版）有比较明确的说明，需要zk 以及本地存储（或者nas）对于协调节点阅读全文

posted @ 2023-01-04 11:51 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

piperider 开源数据可靠性工具

摘要： piperider 是基于python 的数据可靠性工具，主持数据的profile ，数据的测试以及数据的可观测性以及监控核心特性基于sql，同时支持csv 数据profule 的特性，包含了metrcis以及重复，唯一，缺少。。。数据测试，基于内置的断言定义基于运行的profile启动生成阅读全文

posted @ 2023-01-04 11:50 荣锋亮阅读(169) 评论(0) 推荐(0) 编辑

nginx-clojure 调试简单试用

摘要：对于nginx-clojure 的调试实际上就是基于jdwp 参考配置 nginx.conf jvm_options "-agentlib:jdwp=transport=dt_socket,address=*:909#{pno},server=y,suspend=n"; 效果 idea 配置调试效阅读全文

posted @ 2023-01-03 21:09 荣锋亮阅读(126) 评论(0) 推荐(0) 编辑

dremio 表函数简单说明

摘要： dremio 对于表函数的处理实际上还是基于了apcahe calcite ，只是对于dremio 来说，使用相对不是很多目前dremio 比较多的就是外部查询，还有就是关于iceberg 的一些支持函数参考使用外部查询 SELECT b.customer_id, a.product_id, 阅读全文

posted @ 2023-01-03 18:32 荣锋亮阅读(117) 评论(0) 推荐(0) 编辑

导航

公告