随笔分类 -  dremio

上一页 1 ··· 15 16 17 18 19 20 21 22 下一页

dremio
通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题
摘要：一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中） 比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译 源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是 阅读全文

posted @ 2021-09-03 23:57 荣锋亮 阅读(99) 评论(0) 推荐(1) 编辑

dremio 17 混合类型的问题
摘要：混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的） 说明 dremio 18 也 阅读全文

posted @ 2021-09-03 22:51 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

dremio 18 预览版发布了
摘要：dremio 最近发布了18 预览版，好多新的特性，不好的地方是暂时还没有提供软件包 参考的新特性 近实时的反射元数据刷新 近实时的元数据刷新 新的job 历史以及详情界面（具体还要看官方的软件包了，暂时还没提供） 新的查询可视化器（需要等待发版体验） 混合类型移除（需要自己手工处理，目前17就有这 阅读全文

posted @ 2021-09-03 09:27 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

excel 到dremio 查询处理
摘要：参考解决方案 原理说明 用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析 环境 阅读全文

posted @ 2021-09-01 21:41 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

dremio 创建反射的命令
摘要：dremio 官方提供了不只是基于ui 的反射操作，同时也提供了基于类似sql 的命令方便进行反射操作 创建反射 原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文

posted @ 2021-08-03 20:47 荣锋亮 阅读(124) 评论(0) 推荐(0) 编辑

dremio 的外部反射使用说明
摘要：dremio 外部反射的意思是，反射的数据是在外部存储中，而不是由dremio 自己生成的，典型的场景是我们自己已经包含了物化的数据 而且我们想直接使用物化的数据 创建外部反射 创建vds CREATE VDS "myWorkspace"."sales_by_region" AS SELECT AV 阅读全文

posted @ 2021-08-02 21:39 荣锋亮 阅读(304) 评论(0) 推荐(0) 编辑

dremio 外部查询
摘要：外部查询 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_HR_PSCNL')) 引号的处理 注意不是双引号，而且两个单引号 SELECT * FROM table(mdm_oracle.external_q 阅读全文

posted @ 2021-08-02 20:09 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

解决dremio 32k 大小的问题
摘要：参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料 阅读全文

posted @ 2021-07-24 01:17 荣锋亮 阅读(123) 评论(0) 推荐(0) 编辑

dremio 升级的一个实践
摘要：通常的玩法 平时在进行dremio 升级的时候的步骤如下： 停止node节点，升级软件包（基于软连接，调整配置） 停止master，升级软件包（基于软连接，调整配置,升级master 的kv 存储） 启动master 启动node 上边问题的一些问题 master 先启动，然后启动node 会有以下 阅读全文

posted @ 2021-07-23 21:58 荣锋亮 阅读(88) 评论(0) 推荐(0) 编辑

dremio 文件夹数据分区
摘要：使用场景 基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作 参考图 查询 因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作 说明 当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一 阅读全文

posted @ 2021-07-08 21:14 荣锋亮 阅读(126) 评论(0) 推荐(0) 编辑

dremio 17 发布了
摘要：就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明 因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重 阅读全文

posted @ 2021-07-08 21:13 荣锋亮 阅读(144) 评论(0) 推荐(0) 编辑

dremio 数据格式的一些说明
摘要：内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置 说明 官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的 参考资料 https://docs.drem 阅读全文

posted @ 2021-07-03 23:07 荣锋亮 阅读(180) 评论(0) 推荐(0) 编辑

dremio sql server 链接问题
摘要：问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行 原因 通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低 就是因为jdk 版本的升级，一台机器禁用了tls1.0 的 阅读全文

posted @ 2021-06-30 22:48 荣锋亮 阅读(97) 评论(0) 推荐(0) 编辑

dremio 几个方便的命令
摘要：dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理 创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

posted @ 2021-06-25 19:24 荣锋亮 阅读(306) 评论(0) 推荐(0) 编辑

delta lake minio+dremio 集成试用
摘要：参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

posted @ 2021-06-24 20:38 荣锋亮 阅读(1000) 评论(5) 推荐(0) 编辑

dremio 多集群共享zk 配置
摘要：dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理 配置 配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明 注意zk root 需要写在后边，而且需 阅读全文

posted @ 2021-06-24 00:09 荣锋亮 阅读(184) 评论(0) 推荐(0) 编辑

dremio官方正式16 发布说明
摘要：最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明 更新 访问控制变动 具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的 切片线程监视 可以保证异常流量请求的正常 连接池的配置 这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有 阅读全文

posted @ 2021-06-21 22:08 荣锋亮 阅读(166) 评论(0) 推荐(0) 编辑

dremio 16 回退15.7 版本问题
摘要：dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的） 解决方法 还好15 阅读全文

posted @ 2021-06-15 21:43 荣锋亮 阅读(172) 评论(0) 推荐(0) 编辑

dremio 16 升级问题
摘要：dremio 16 很早就发布了，今天打算升级下，但是碰到了一个意想不到的问题，驱动兼容问题 问题描述 因为dremio 16 开始，默认官方自己保证的datasource支持了ide时间处理，所以大部分以前开发的驱动运行是有问题的（目前测试16之前的基本都应该会有问题，出过官方的driver） 问 阅读全文

posted @ 2021-06-04 00:12 荣锋亮 阅读(140) 评论(0) 推荐(0) 编辑

dremio 开发测试简单说明
摘要：目前官方关于如何进行相关开发测试的明确的文档说明，但是我们基于官方提供的测试用例可以基本了解 官方提供的测试用例 sabot/kernel/src/test/java/com/dremio 目录 ├── ArrowDsUtil.java ├── BaseDecimalFunctionTests.ja 阅读全文

posted @ 2021-04-10 23:26 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑

上一页 1 ··· 15 16 17 18 19 20 21 22 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示