随笔分类 -  dremio

上一页 1 2 3 4 5 6 ··· 22 下一页

dremio
dremio nginx proxy 问题简单说明二
摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明 配置 核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

posted @ 2024-05-26 17:21 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明
摘要：dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法 环境准备 docker-compose version: "3" services: n 阅读全文

posted @ 2024-05-24 17:09 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

dremio 分布式存储docker配置简单说明
摘要：对于dremio 分布式存储的配置我们直接修改配置文件，当然基于环境变量 参考配置 dremio: platform: linux/x86_64 image: dremio/dremio-oss:latest ports: - 9047:9047 - 31010:31010 - 32010:3201 阅读全文

posted @ 2024-05-18 22:18 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

dremio 的SourceCapabilities 能力简单说明
摘要：SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用，以下简单说明下 SourceCapabilities 类定义 每个存储扩展的实现都有一个getSourceCapabilities 的方法，具体SourceCapabilities 阅读全文

posted @ 2024-05-15 07:56 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

jetbrains gateway + gitpod 进行dremio 构建
摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:36 荣锋亮 阅读(49) 评论(0) 推荐(0) 编辑

dremio CatalogMaintenanceService 服务简单说明
摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息 如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

posted @ 2024-05-10 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio-stress dremio 压力测试工具
摘要：dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来 说明 此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更 阅读全文

posted @ 2024-05-09 11:57 荣锋亮 阅读(74) 评论(0) 推荐(0) 编辑

dremio dbt 升级到1.7 版本了
摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的 说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

posted @ 2024-05-08 11:58 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

dremio 新的logback 日志配置自动reload 功能简单说明
摘要：dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下 新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

posted @ 2024-05-08 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

dremio dbt 集成nessie分支扩展说明
摘要：dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的） 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用 阅读全文

posted @ 2024-05-07 09:43 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

dremio AuthProvider 简单说明
摘要：AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区 阅读全文

posted @ 2024-05-07 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio UserService 简单说明
摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法 类图 可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为 阅读全文

posted @ 2024-05-05 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dremio 数据集自动提升处理简单说明
摘要：dremio 对于数据集自动提升可以通过ui，也可以通过sql，当然rest api 也是可以的，目前sql 使用起来相对简单，但是缺少一些配置参数 sql 模式参考命令 // 当前推荐的模式 ALTER TABLE s3.dalong.demo REFRESH METADATA AUTO PROM 阅读全文

posted @ 2024-05-04 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

dremio 读取 jsonl 格式支持
摘要：实际上属于dremio 社区一个问题，内部实际上是dremio 对于格式化插件支持的问题, 不少是基于文件格式硬编码的，尽管 我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理 直接修改JSONFormatPlugin 代码支持jsonl 参考 阅读全文

posted @ 2024-05-02 11:31 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

使用@lakehouse-rs/flight-sql-client nodejs api 快速访问dremio 服务
摘要：@lakehouse-rs/flight-sql-client 是基于rust 开发的node arrow flight sql client ，dremio 目前也是推荐基于arrow flight sql 的访问模式 参考代码 package.json { "name": "node-arrow 阅读全文

posted @ 2024-05-01 08:37 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

dremio 日志配置
摘要：dremio 对于日志的配置支持基于系统属性以及环境变量的模式，对于环境变量实际上也是使用的系统属性 参考配置 系统属性 可以直接通过dremio-env 文件添加 -Ddremio.log.path=/opt/dremio/logs 环境变量 直接添加环境变量就可以了 DREMIO_LOG_DIR 阅读全文

posted @ 2024-04-30 11:44 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio The source [xxxx] is currently unavailable. Metadata is not accessible; please check node health简单说明
摘要：最近在dremio 25.0 版本碰到了一些问题，以下说明下原因以及处理 问题现象 问题 实际上此问题是执行节点报的错误，并不是协调节点的，早期一直以为是协调节点的，结果通过分析调试发现是协调节点报的错误 The source [xxxx] is currently unavailable. Met 阅读全文

posted @ 2024-04-29 08:36 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

dremio 25.0 KVStore 升级简单说明
摘要：dremio 25.0 开始对于数据源的存储支持加密了，所以升级上稍有不同，官方给出的操作流程如下 参考处理 // 对于已经运行的，应该先stop，然后进行应用包的替换 dremio stop // 执行dremio-admin 的upgrade dremio-admin upgrade // 启动 阅读全文

posted @ 2024-04-27 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

dremio datastore简单说明二
摘要：以前也介绍过dremio 的datastore，目前软件版主要是基于rocksdb 的kv，对于创建会基于一个的集群角色使用不同的 dremio 实际包含了好几类的KVStoreProvider 参考KVStoreProvider实现子类 可以看到包含了local，remote，trace，noop 阅读全文

posted @ 2024-04-26 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

dremio 25.0 maven ce 依赖官方已经发布
摘要：以前写过如何基于软件包的jar 实现maven 依赖的重构，目前官方ce 依赖的包已经发布了，可以直接使用了 参考资料 https://www.cnblogs.com/rongfengliang/p/18129848 阅读全文

posted @ 2024-04-20 07:16 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 22 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示