随笔分类 -  dremio

上一页 1 2 3 4 5 6 7 8 9 10 ··· 22 下一页

dremio
dremio LivenessService 服务简单说明
摘要：LivenessService是dremio backend 提供的一个http 服务，提供了live （存活）以及metrics服务 此服务在dremio 集群中的每个节点上都会运行，以下是一些说明 一些特点 服务使用了jetty 与官方dac 的backend 是不太一样，默认使用了jersey 阅读全文

posted @ 2024-02-03 19:39 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dremio cluster docker-compose 运行
摘要：dremio 社区版，集群安装比较简单，核心就是一个配置（zk，分布式存储），为了方便本地环境的测试我 基于docker-compose 提供了一个方便部署的环境，可以使用 环境配置 docker-compose version: "3" services: zk: image: zookeeper 阅读全文

posted @ 2024-02-03 19:39 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

dremio vectorized Parquet Reader v2 支持
摘要：dremio 从24.3 开始支持parquet v2 writer 同时性能提升还是很明显的 对于读 官方在TPC-DS测试中，最低有22% 左右的，最高97%，平均77% 左右 写入 同样也是TPC-DS 中，存储降低24%左右，写入提升1.5% 左右，如果开启了c3 读性能提升6.4% 开启 阅读全文

posted @ 2024-02-01 11:56 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dremio 24.3.2发布
摘要：就在最近dremio 提供了24.3.2社区版的下载，同时oss 源码也发布了，核心是一些fix,详细的可以参考官方的release notes 说明 大概看了下git commit 一些变动，此版本开始，一些本来为false 的参数直接设置为了true了比如codedremio.unlimited 阅读全文

posted @ 2024-01-30 12:27 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

dremio random 函数造成dremio crash 问题
摘要：以前没注意使用random，在看社区问题的时候测试了下发现的确有类似的问题，官方的解决方法是通过配置 禁用gandiva 优化 参考配置 支持key格式 exec.disabled.gandiva-functions: <function>;<function> 参考配置 参考禁用处理 sabot/ 阅读全文

posted @ 2024-01-25 10:30 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio + grafana/tempo opentelemetry监控集成
摘要：昨天我写过一个基于signoz的dremio opentelemetry 集成，实际上grafana/tempo 也是一个很不错的选择，主要是部署简单，以下是一个简单测试 环境准备 docker-compose 文件 version: "3" services: tempo: image: graf 阅读全文

posted @ 2024-01-20 17:53 荣锋亮 阅读(227) 评论(0) 推荐(0) 编辑

dremio opentelemetry监控试用
摘要：标准的系统监控应该包含metrics，trace，log 这个三大类，metrics 部分，包含了一个promethues 的扩展，当然官方也支持jmx以及slf4j的 opentelemetry 是一个直接内置的trace 功能，很不错，以下是一个简单的测试 环境准备 dremio 默认就支持op 阅读全文

posted @ 2024-01-19 17:15 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

dremio ui 数据源插件加载处理简单说明
摘要：dremio 开发数据源扩展，基本包含了数据库，元数据类的，对象存储的，以及catalog 的，实际上开发扩展不算太难 默认开发的扩展直接放jars 文件夹就可以了，但是目前新版本我们会发现隐藏了一个opensearch 的插件，这个插件需 要通过配置开启，plugins.jdbc.opensear 阅读全文

posted @ 2024-01-19 13:57 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

dremio 基于Options注解的配置技巧
摘要：以前简单写过一个dremio 配置相关的介绍，以下是一个简单的使用 原理 dremio 自己定义了一个Options 的注解，包含此注解的类会被启动的时候进行类扫描加载，Options 的会存储起来（分为不用类型的） 有session 级别的，系统级别的。。。。 简单使用 pom.xml <?xml 阅读全文

posted @ 2024-01-19 10:24 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

spring boot 3.2.1 dremio jdbc jprofiler 集成
摘要：jprofiler 可以直接与idea 集成，对于分析一些实际需要debug 但是不好复现的问题还是比较方便的，以下是一个简单的与 dremio 集成的，spring boot 使用了3.2 （jdk 需要17）同时也会包含一些启动说明 安装idea 插件 直接plugins 的市场中搜索安装就可以 阅读全文

posted @ 2024-01-18 10:35 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

dremio nessie 版本持久化配置简单说明
摘要：dremio 对于nessie 的使用就是一个插件配置，默认基于docker运行的nessie 是没有进行版本持久化的，以下是一个简单说明 配置参考 我基于了pg，实际支持的存储引擎还是很多的 docker-compose version: "3" services: mysql2: image: 阅读全文

posted @ 2024-01-17 15:09 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

dremio jdbc 访问最好使用链接池工具
摘要：昨天在碰到一个dremio jdbc 比较奇怪的问题，按照了标准的jdbc 操作（建立链接，创建Statement，处理数据，关闭Statement，关闭连接） 当进行多次执行（多次建立连接操作）发现dremio 有一个操作异常，造成数据表创建有问题（事务不完整） 参考代码 private stat 阅读全文

posted @ 2024-01-17 10:43 荣锋亮 阅读(83) 评论(0) 推荐(0) 编辑

dremio 测试特性api 的开启&外部profile查看
摘要：以前简单说过基于代码修改开启test 的外部profile 能力，实际上官方是由配置参数的，可以在启动的时候添加到配置中 配置添加 dremio.conf 文件 debug { allowTestApis: true } 检查选项时候开启的一个技巧 使用arthas 命令 使用了arthas的vmt 阅读全文

posted @ 2024-01-16 15:27 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

dremio dbt + nessie 集成profile 简单说明
摘要：我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明，以下简单说明下dbt 如何配置 配置说明 对于配置实际上与以前一些介绍类似，集成nessie 的使用与其他是类似的，只是集成nessie 之后我们的数据开发模型上就有了实际的版本了（dbt 集成git 之后也会包含版本， 阅读全文

posted @ 2024-01-13 23:07 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dremio jdbc 插件时间增量处理的一些问题
摘要：dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 阅读全文

posted @ 2024-01-12 14:39 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

dremio 反射刷新时间的一些简单说明
摘要：dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 阅读全文

posted @ 2024-01-11 20:14 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

dremio+nessie+dbt+ cube.js 实现简单数据服务
摘要：以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 阅读全文

posted @ 2024-01-11 15:22 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑

dremio nessie 元数据sql查询简单说明
摘要：以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 阅读全文

posted @ 2024-01-09 16:42 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

dremio nessie 集成玩法
摘要：昨天我简单写了dremio 集成nessie 的玩法， 实际上dremio 与nessie 的集成可以分为两大类，一类是使用nessie 做为catalog 服务 （当然也是支持写入iceberg 的），一类是基于外部工具（spark，flink） 使用nessie 做为metadata stora 阅读全文

posted @ 2023-12-30 13:55 荣锋亮 阅读(115) 评论(0) 推荐(0) 编辑

dremio nessie数据源集成简单说明
摘要：nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag 阅读全文

posted @ 2023-12-29 20:04 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 10 ··· 22 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示