dremio arp connector 开发
摘要：主要是为了实现类似数据联邦的功能的 参考图 代码 package com.dalong.dremio; import com.dremio.common.AutoCloseables; import com.dremio.common.util.CloseableIterator; import c
阅读全文
posted @ 2021-04-05 10:03
随笔分类 - dremio
dremio
dremio 连接dremio 扩展dremio 集群规模
摘要：将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力，扩展数据查询以及数据虚拟层的能力 参考图 说明 就是类似一种联邦的模式，dremio 可以串联dremio，核心方法是开发一个dremio 的arp connector，具体的开发方式与cratedb 的模式是一样的
阅读全文
posted @ 2021-04-05 09:13
开发一个dremio cratedb arp connector
摘要：以前有介绍过如何基于arp模式开发一个dremio cratedb 的connector，但是当时的开发还是有点问题的 以下是一个参考官方jdbc plugin 开发的cratedb connector （支持schema 获取） 参考源码 package com.dremio.exec.store
阅读全文
posted @ 2021-04-05 01:06
dremio 自定义arp 开发的几个细节
摘要：官方关于arp的开发说明比较简单，如果需要支持一个兼容jdbc 的数据库开发还是有一些问题需要解决的 标准格式 conf 类 主要包含了关于UI，以及方言类的定义，同时也包含了数据源的管理，schema 的处理也比较重要 参考格式 @SourceType(value = "SNOWFLAKE", l
阅读全文
posted @ 2021-04-04 10:42
dremio 15一些新特性简单说明
摘要：以下进行一个特性说明 新特性 utf-8编码支持 以前我们需要特殊处理（env 以及函数），现在可以直接查询了（测试可行） 启动清理有异常的物化视图 这个是早期dremio 版本存在的问题（当异常操作的时候，造成加速有问题，自动清理可以解决类似问题，因为依靠定时刷新还是有问题的） join 查询的性
阅读全文
posted @ 2021-04-04 00:46
dremio 15 发布
摘要：几天前dremio 发布了15，有了好多性能提升以及bug修复，具体可以参考官方文档，后边试用下 参考资料 https://docs.dremio.com/release-notes/1500-release-notes/
阅读全文
posted @ 2021-04-04 00:37
使用外部db 加速dremio 查询
摘要：官方默认的实现是基于rest api 的，尽管可以开启数据反射提升查询速度，但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显，失去了使用dremio 的价值了 基于cube.js 预聚合处理（使用外部预聚合） 基于外部预聚合的解决方
阅读全文
posted @ 2021-03-26 23:30
dremio 时间操作函数
摘要：时间操作函数在sql中是一个比较常见的功能，官方是有一些介绍，但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档 说明 部分函数可能drill 包含，但是dremio 没有，这个需要对比下官方文档 参考资料 https://drill.apache.org/docs/date
阅读全文
posted @ 2021-03-26 19:34
dremio sql server 出现无法绑定由多个部分组成的标识符的解决方法
摘要：比如怪异的一个问题，通过分析job 的执行情况发现都是正常的，但是经过调整之后发现属于解析的问题解决方法，可以通过在配置sql server 数据源的时候配置database 解决（就是强制指定了数据库） 问题现象 参考界面
阅读全文
posted @ 2021-03-26 19:32
dremio 14 版本发布&&新的官方文档页面
摘要：dremio 14已经发布了，同时也提升了官方文档，对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了（sql server 乱码，mysql 5.3 之前的版本乱码） 说明 14 版本的源码暂时还没有开放出来，下载了以前版本解压发现mysql 版本依赖的驱动还是老的（升级新的乱
阅读全文
posted @ 2021-03-03 08:04
dremio 配置文件
摘要：因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件 文件位置 源码的common resources dremio-re
阅读全文
posted @ 2021-02-26 17:29
dremio tar 模式安装
摘要：软件包准备 可以从官方文档下载 准备 主要是关于运行账户，推荐创建一个独立的账户 配置 主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件，推荐基于软链接的模式 参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录 推荐配置独立
阅读全文
posted @ 2021-02-24 20:37
dremio 部署系统要求
摘要：支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ （支持rpm以及tar）SLES 12 sp2+ （tar）ubuntu 14+ （tar）debian 7 + （tar） jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存 执行节点最
阅读全文
posted @ 2021-02-24 20:36
dremio mysql connector 对于低版本mysql 支持中文乱码问题
摘要：最近在测试dremio mysql 连接的时候发现中文乱码，经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动，mariadb 对于老版本mysql 中文支持有点问题（目前测试的是mysql 5.1）解决方法:官方下载新的mariadb jdbc 驱动，放到目录为jars/3rd
阅读全文
posted @ 2021-02-24 11:51
dremio 自定义connector 图标
摘要：dremio 有一套自己的标准，我们基于约定就可以自己开发的图标了 一些预定 对于maven 项目资源文件放resources 目录 图标是svg 格式的，大小为150*150 （当然无所谓大小） svg 的文件名称需要和自己定义的arp 定义metadata name 一样，推荐使用全大写 参考案
阅读全文
posted @ 2021-02-23 22:44
dremio sql server 自定义connector开发解决中文乱码问题
摘要：在通过反编译查看dremio ce 版本的jdbc 插件，发现对于sql server 的乱码是因为一个配置引起的 所以以下是尝试基于官方的机制，写一个sql server 的扩展，方便集成使用 项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?>
阅读全文
posted @ 2021-02-23 21:46
dremio sql server 查询中文的问题
摘要：dremio 对于中文的支持需要进行一些额外的配置以及处理 需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha
阅读全文
posted @ 2021-02-22 22:19
规避dremio数据查询限制的一些方法
摘要：dremio 对于查询的数据是有一些限制的，比如数据表字段的内容大小不能超多32k（很多时候我们使用字段存储文本内容的时候就很容易超过） 以下是一些简单的解决方法 32kb 问题 基于视图 主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde
阅读全文
posted @ 2021-02-22 21:48
dremio 节点监控
摘要：dremio 的节点包含了执行以及协调，我们可以基于提供的prometheus metrics 进行监控，同时基于提供的jmx 也是一个 不错的选择 主要jmx 监控项 heap 内存以及gc 频率 直接内存使用 轻量级线程监控 指标说明 heap 内存以及gc heap: memory.heap.
阅读全文
posted @ 2021-02-20 22:47
dremio 升级操作说明
摘要：以前大概说明过关于升级的操作，以下详细说明下 流程 备份 数据，可以使用命令 backup,注意需要在master 操作 下载新版本 进行软连接关联 注意需要使用的软连接包含了软件包，配置，以及数据目录（比较推荐使用官方建议的运行配置模式） conf 以及data 分离 执行更新 upgrade 命
阅读全文
posted @ 2021-02-20 22:32
