dremio hive jdbc arp date 类型问题记录
摘要：简单记录下碰到的一些问题 分析 arthas stack 查看调用 对于hive 是类似的，我测试的是mysql 的 stack com.mysql.cj.jdbc.result.ResultSetImpl getDate 效果 ffect(class count: 2 , method count
阅读全文
posted @ 2023-12-26 15:26
随笔分类 - dremio
dremio
基于pg driver 的dremio cratedb arp 扩展
摘要：实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo
阅读全文
posted @ 2023-12-21 21:31
以前开发的一些dremio arp 扩展24.3 更新
摘要：以前开发过一些简单的arp 扩展（核心还是修改的ce 版本的），dremio 发布24.3版本了，但是有不少调整，造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c
阅读全文
posted @ 2023-12-21 17:23
dremio 24.3 版本构建的一些问题
摘要：dremio 24.3 社区版代码提供了，从官方文档来看，构建与以前不太一样了，以下是构建中一些问题说明 主要问题 jdk 需要同时包含jdk8 以及jdk11, maven 配置toolchains WARNING: Failed to export metrics.Server responde
阅读全文
posted @ 2023-12-21 14:51
dremio arp 扩展开发icon问题
摘要：好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui
阅读全文
posted @ 2023-12-21 11:50
dremio 24.3.0 arp 扩展变动
摘要：dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下 参
阅读全文
posted @ 2023-12-21 09:35
dremio 24.3.0 发布
摘要：24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件， 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编
阅读全文
posted @ 2023-12-21 09:24
基于dremio dbt 实现dremio 语义层建模的简单说明
摘要：简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt
阅读全文
posted @ 2023-12-15 16:31
dremio dbt adapter 一些简单说明
摘要：dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice
阅读全文
posted @ 2023-12-15 15:29
dremio 的虚拟数据集市
摘要：实际上术语来自dremio 的一篇博客，实际上官方也提供了如何创建自服务语义层的实践 博客中玩法的简单说明 官方的说明是参考如下流程 创建业务单元 基于文件夹的玩法 数据源集成以及视图创建 实际上就是基于数据源进行vds的处理 访问控制以及权限处理 用户数据管理以及data mesh 界面以及自动化
阅读全文
posted @ 2023-12-13 14:47
dremio 提供的 maven repo地址
摘要：参考maven repo <repositories> <repository> <id>dremio-public</id> <url>http://maven.dremio.com/public/</url> </repository> <repository> <id>dremio-free<
阅读全文
posted @ 2023-12-01 09:22
dremio 24.2.6 社区版提供
摘要：就在这几天dremio 企业版24.2.6 发布了，这次社区版也同时提供了，速度比较快，核心还是一些bugfix 一些有意义的功能 sql 编辑器支持长时没有交互还能使用 多个oracle 的scan 操作可以并行了 说明 目前来看社区版代码还是没有提供,还得等等了,对于学习新功能的，可以通过反编译
阅读全文
posted @ 2023-11-30 09:17
dremio 24.2.5 社区版提供
摘要：就在最近dremio 发布了社区版24.2.5 （但是源码以及maven 依赖还没有发布）核心上还是对于bug 的修复 说明 目前dremio 对于社区版的维护似乎不太积极，对于源码以及maven 相关的迟迟没有发布，社区有不少人在问，官方回复似乎在年底可以提供，还是比较期待的。。。。 参考资料 h
阅读全文
posted @ 2023-11-21 09:10
dremio 的自服务语义层创建简单说明
摘要：内容来自官方文档，介绍了一些关于dremio 的数据语义层的玩法 原则 分层 通过分层可以确保安全，性能以及可用性，dremio 提供了一个对于语义层的最佳实践 数据集的注释增强发现以及可理解性 可以通过tag 以及文档（wiki）进行数据的描述 最佳实践 使用1:1 的预处理层 此层的数据接近原始
阅读全文
posted @ 2023-10-31 14:27
dremio 的Well-Architected Framework
摘要：内容来自官方文档，可以很好的了解dremio 的架构设计 参考图 说明 以上文档，相对简单，但是可以很好的说明dremio包含的能力以及如何进行dremio服务的部署 参考资料 https://docs.dremio.com/current/help-support/lakehouse-arch/
阅读全文
posted @ 2023-10-31 12:05
dremio metabase 高版本jdk连接问题
摘要：目前已经有不少新项目都是使用了高版本的jdk，比如不少使用了jdk11，还有直接使用jdk17 的 dremio jdbc 驱动支持的jdk 主要是8，对于其他高版本jdk 的支持会有一些问题核心是netty 相关的 以下是一个参考配置 启动参数配置 适合jdk 17 以及以上版本的 java --
阅读全文
posted @ 2023-10-31 08:41
dremio 创建数据集命令
摘要：以前dremio 对于基于sql 的数据集创建使用的命令是create vds <datasetname> as select * from <source>新的调整为了 create view <datasetname> as select * from <source> 说明 对于数据集的操作同
阅读全文
posted @ 2023-10-27 09:12
dremio hive 连接
摘要：dremio 对于hive 的连接实际上有两种方法，一种使用的是hive 的meta store ,一种是使用的hive jdbc server第一中是官方支持的，第二种官方缺少直接的支持，需要自己开发相关的arp 扩展 一些参考实现 cdata 目前提供了一个开源实现，但是jdbc 驱动使用的是自
阅读全文
posted @ 2023-10-20 09:19
使用jprofiler 14 查看dremio 的grpc 调用
摘要：我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制 环境配置 这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的） 参考效果 参考
阅读全文
posted @ 2023-10-07 12:48
dremio 24.2 新增druid arp 扩展
摘要：dremio 24.2 新增druid arp 扩展，此扩展在jdbc ce 版本的plugin 中， 我们可以通过反编译学习 参考图 参考资料 https://druid.apache.org/
阅读全文
posted @ 2023-10-04 23:07
