2022年10月22日

dremio 23 版本的试用简单说明

摘要: 官方已经提供了相关的23版本的docker 镜像了,体验了下,总的来说ui 变化与22 相比没有多少,同时说是有一个query profile 的新界面但是没有看到,LISTAGG 是已经支持了(类似group_concat,从实现上并没有使用类似dremio 自定义聚合函数的格式,反而是基于cal 阅读全文

posted @ 2022-10-22 22:06 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

dremio 21 版本之后反射No File System scheme matches 问题解决

摘要: 实际属于一个老问题了,整理下,方便使用,主要是我们在使用反射的时候碰到的问题 问题如下 UnknownFormatConversionException: Conversion = 'Unknown format (pdfs) conversion for path /xxxxxx.avro Err 阅读全文

posted @ 2022-10-22 19:24 荣锋亮 阅读(80) 评论(0) 推荐(0) 编辑

dremio 23 s3 插件默认ssl 配置问题

摘要: 问题描述 如下图 操作 一般我们会按照(注意需要开启s3 兼容模式),以上问题说明是依赖ssl,但是我们已经声明了不使用ssl 或者endpoint 带上http 如下,数据桶可以显示,但是会有如下的问题 原因 仔细看了下实际上是默认dremio 23 版本s3 使用了加密协议,但是我们的minio 阅读全文

posted @ 2022-10-22 18:58 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

dremio 23 版本docker 镜像jdk 说明

摘要: 实际上dremio 官方在23版本的relase note 中已经说明了关于jdk 的处理,在看了最新docker 镜像也可以印证此说明 参考处理 22 版本的 23 版本的 说明 目前已经有不少开源软件以及响应社区号召进行openjdk 基础镜像的调整了,我们也得跟进了 参考资料 https:// 阅读全文

posted @ 2022-10-22 16:51 荣锋亮 阅读(90) 评论(0) 推荐(0) 编辑

dremio 23 社区版发布提供了

摘要: 目前dremio 23 社区版本源码已经开放了同时也提供了docker 镜像以及二进制文件,大家可以试用了 参考资料 https://download.dremio.com/https://github.com/dremio/dremio-oss 阅读全文

posted @ 2022-10-22 16:14 荣锋亮 阅读(41) 评论(0) 推荐(0) 编辑

dremio 官方 dbt 扩展

摘要: 又一个不错的消息是dremio 官方支持dbt 了,以前是由社区开发的,现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力,可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档 参考资料 https://github.com/dremio/dbt-dre 阅读全文

posted @ 2022-10-22 16:07 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

minio gateway nas 参考配置

摘要: 主要记录下运行说明 参考命令 /usr/local/bin/minio gateway nas --help NAME: minio gateway nas - Network-attached storage (NAS) USAGE: minio gateway nas [FLAGS] PATH 阅读全文

posted @ 2022-10-22 01:08 荣锋亮 阅读(733) 评论(0) 推荐(0) 编辑

smb linux 挂载参考说明

摘要: 主要记录下linux 挂载smb 的配置以及包含密码的使用说明 软件包准备 yum install cifs-utils 挂载 包含认证的,使用credentials 配置选项 //server_name/share_name /mnt cifs credentials=/root/smb.cred 阅读全文

posted @ 2022-10-22 01:04 荣锋亮 阅读(142) 评论(0) 推荐(0) 编辑

导航