dremio 24.2 社区版发布
摘要：就在昨天，dremio 提供了社区版的下载地址，24.2 提供了不少新特性 主要新特性 delta lake 不少新功能支持（历史，快照） 反射hints 支持（可以基于声明式定义） 一些新的半结构化数据聚合参数 自动反射推荐功能(属于企业版特性) 一些查询计划的优化（主要是修复一些历史之行计划的问
阅读全文
posted @ 2023-10-04 10:49
随笔分类 - dremio
dremio
dbt class 简单说明
摘要：dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re
阅读全文
posted @ 2023-07-31 22:11
dremio 24.1 Nessie 支持插件
摘要：以前也简单说过24.1 支持基于Nessie 进行查询了，相关代码名称比较怪异（此代码开源了），名称为dataplane 参考代码信息 说明 因为dremio 云版本支持基于Nessie的元数据管理，此功能代码还是值得学习参考的，整体开发上也是一个标准的存储扩展 参考资料 https://docs.
阅读全文
posted @ 2023-06-18 17:16
dremio 24.1 udf 表函数支持
摘要：此功能比较方便，我们可以方便的扩展一些函数，直接可以返回表数据，方便分析处理，以前要处理需要通过关联，或者自定义vds 参考使用 参考资料 https://docs.dremio.com/software/sql-reference/sql-commands/functions/
阅读全文
posted @ 2023-06-18 17:06
dremio 24.1 vacuum 一些新特性
摘要：实际上此功能，我以前介绍过，现在官方文档直接说明了，同时最新版本支持删除过期文件了，24版本我在测试的时候发现是有些问题新版本是否解决还得测试，具体使用可以参考以下链接 参考资料 https://docs.dremio.com/software/release-notes/240-release/h
阅读全文
posted @ 2023-06-18 17:01
dremio 24.1 zstd 支持的的处理
摘要：以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客 一些差异 dremio 自己编译了hadoop lib 库 dremio 支持了level 配置 参考资料 https://
阅读全文
posted @ 2023-06-18 12:56
dremio 24.1.0 发布
摘要：dremio 就在昨天dremio 发布了24.1.0 版本（间隔时间还是比较长的），包含了不少特性，上午的时候简单看了下，但是因为目前文档页面打不开了我只简单说以下我看到的几个不错的 一些新特性 内置支持zstd 压缩了 Nessie 数据源支持，可以更好的使用Nessie 作为catalog 服
阅读全文
posted @ 2023-06-16 22:00
dremio 阿里云oss 集成简单说明
摘要：默认dremio 支持了azure，aws，gcs 等存储的访问，但是对于oss 是缺少支持的，实际上都是类似的对象存储 可选模式 直接使用aws s3 模式链接 通过测试是可以的，但是需要进行一些配置，参考如下 通过minio s3 gateway 很简单，但是注意minio 版本（新版本已经移除
阅读全文
posted @ 2023-03-24 14:20
dremio 汉化的一些问题
摘要：dremio dac 模块包含了后端以及ui 部分，对于简单的汉化可以直接通过修改dac 中ui 模块的locales/en.json 参考修改 运行 修改之后需要重新构建打包 构建命令 mvn clean install -DskipTests 运行 可以直接将官方包的文件进行替换 目录为jars
阅读全文
posted @ 2023-03-24 12:50
snowflake 元数据存储一些参考资料
摘要：今天在写完关于使用一个开源kv 系统替换dremio 的kv 服务的之后，搜了下发现snowflake 的元数据系统就是基于foundationdb的，同时官方也有不少介绍可以参考学习 参考资料 https://medium.com/snowflake/part-2-migrating-snowfl
阅读全文
posted @ 2023-03-07 22:58
dremio 替换kv 服务的一些思路
摘要：我以前简单介绍过dremio 内部协调服务（基于了zk）以及数据存储的说明（实际上是基于了kv存储rocksdb）同时dremio 入口会创建DACDaemonModule （此类可以通过配置修改），如果需要修改修改就可以从此处下手，以下只是一个简单的说明，后续等有时间了实现下 当前方案 可以看出对
阅读全文
posted @ 2023-03-07 19:08
cube.js dremio-odbc-cubejs-driver TypeError: Do not know how to serialize a BigInt 问题
摘要：因为cube.js cache 部分使用了json 进行key 的存储，但是因为odbc 部分数据类型会有bigint，cube.js 会报错 解决方法 通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const
阅读全文
posted @ 2023-03-02 19:47
基于odbc 开发一个高性能的dremio cube.js driver
摘要：我以前简单写过，基于odbc 的cube.js driver 开发简单说明，一直没有实现， 最近研究下了，发现实现起来还是很简单的 所以就写了一个，方便使用，对比下来性能提升是很大的 参考开发 核心是基于odbc 对于query以及testConnection 的实现，部分借鉴了http 协议的实现
阅读全文
posted @ 2023-03-02 19:37
dremio S3StoragePlugin 简单说明
摘要：S3StoragePlugin 核心是进行s3 的数据处理，从能力上来说主要是一个文件系统的存储插件，以前我简单介绍过关于存储扩展 的开发，一般需要包含一个存储插件配置类以及存储插件的实现（会有基于文件系统的s3，nas。。。。，基于底层基础类的jdbc 存储插件） 配置类 主要是S3PluginC
阅读全文
posted @ 2023-02-24 12:05
dremio 24 版本一个隐藏的Vacuum功能
摘要：dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理 功能开启 需要通过配置支持项处理 使用 官方支持的命令还是比较全的，只是目前官方文档暂时还是没写 整体的能力（通过测试方法看到的） 参考使用 dremio 内部处
阅读全文
posted @ 2023-02-14 12:56
dremio几个rel 术语名词简单说明
摘要：dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的 实际上是原始 apache calcite RelNode Drel 结尾的 是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy
阅读全文
posted @ 2023-02-12 21:30
dremio24 版本copy into from 简单说明
摘要：copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式） 简单机制说明 目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect
阅读全文
posted @ 2023-02-12 20:04
dremio 24 版本对于表优化的处理
摘要：dremio 24 版本开始支持表优化，主要是对于iceberg的表优化 机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大 参考图 额外的能力 支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展 一些限制 一次只能运行一个任务 当前不支持del
阅读全文
posted @ 2023-02-12 19:28
dremio 24 新特性简单说明
摘要：新发布的dremio 24 版本包含了一些新特性，同时也一大部分是关于性能以及iceberg 支持的 新特性 表优化（iceberg） 回滚表（iceberg） copy into 强大快速的数据集成sql 能力（支持基于外部存储的数据倒入操作，可以解决不少输入进的问题） broadcast hin
阅读全文
posted @ 2023-02-11 22:54
dremio 24 发布了
摘要：就在几个小时之前dremio 24 发布了，有一些新功能以及变动，有不少不错的特性，同时源码以及社区版docker镜像官方也都已经提供了，可以参考试用 说明 大概看了介绍还是有不少特性值得学习研究的，后边详细介绍下 参考资料 https://github.com/dremio/dremio-oss/
阅读全文
posted @ 2023-02-11 10:26
