摘要：官方关于arp的开发说明比较简单，如果需要支持一个兼容jdbc 的数据库开发还是有一些问题需要解决的 标准格式 conf 类 主要包含了关于UI，以及方言类的定义，同时也包含了数据源的管理，schema 的处理也比较重要 参考格式 @SourceType(value = "SNOWFLAKE", l 阅读全文

摘要：以下进行一个特性说明 新特性 utf-8编码支持 以前我们需要特殊处理（env 以及函数），现在可以直接查询了（测试可行） 启动清理有异常的物化视图 这个是早期dremio 版本存在的问题（当异常操作的时候，造成加速有问题，自动清理可以解决类似问题，因为依靠定时刷新还是有问题的） join 查询的性 阅读全文

摘要：几天前dremio 发布了15，有了好多性能提升以及bug修复，具体可以参考官方文档，后边试用下 参考资料 https://docs.dremio.com/release-notes/1500-release-notes/ 阅读全文

摘要：官方默认的实现是基于rest api 的，尽管可以开启数据反射提升查询速度，但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显，失去了使用dremio 的价值了 基于cube.js 预聚合处理（使用外部预聚合） 基于外部预聚合的解决方 阅读全文

摘要：时间操作函数在sql中是一个比较常见的功能，官方是有一些介绍，但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档 说明 部分函数可能drill 包含，但是dremio 没有，这个需要对比下官方文档 参考资料 https://drill.apache.org/docs/date 阅读全文

摘要：比如怪异的一个问题，通过分析job 的执行情况发现都是正常的，但是经过调整之后发现属于解析的问题解决方法，可以通过在配置sql server 数据源的时候配置database 解决（就是强制指定了数据库） 问题现象 参考界面 阅读全文

摘要：dremio 14已经发布了，同时也提升了官方文档，对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了（sql server 乱码，mysql 5.3 之前的版本乱码） 说明 14 版本的源码暂时还没有开放出来，下载了以前版本解压发现mysql 版本依赖的驱动还是老的（升级新的乱 阅读全文

摘要：因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件 文件位置 源码的common resources dremio-re 阅读全文

摘要：软件包准备 可以从官方文档下载 准备 主要是关于运行账户，推荐创建一个独立的账户 配置 主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件，推荐基于软链接的模式 参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录 推荐配置独立 阅读全文

摘要：支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ （支持rpm以及tar）SLES 12 sp2+ （tar）ubuntu 14+ （tar）debian 7 + （tar） jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存 执行节点最 阅读全文

摘要：最近在测试dremio mysql 连接的时候发现中文乱码，经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动，mariadb 对于老版本mysql 中文支持有点问题（目前测试的是mysql 5.1）解决方法:官方下载新的mariadb jdbc 驱动，放到目录为jars/3rd 阅读全文

摘要：dremio 有一套自己的标准，我们基于约定就可以自己开发的图标了 一些预定 对于maven 项目资源文件放resources 目录 图标是svg 格式的，大小为150*150 （当然无所谓大小） svg 的文件名称需要和自己定义的arp 定义metadata name 一样，推荐使用全大写 参考案 阅读全文

摘要：在通过反编译查看dremio ce 版本的jdbc 插件，发现对于sql server 的乱码是因为一个配置引起的 所以以下是尝试基于官方的机制，写一个sql server 的扩展，方便集成使用 项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?> 阅读全文

摘要：dremio 对于中文的支持需要进行一些额外的配置以及处理 需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha 阅读全文

摘要：dremio 对于查询的数据是有一些限制的，比如数据表字段的内容大小不能超多32k（很多时候我们使用字段存储文本内容的时候就很容易超过） 以下是一些简单的解决方法 32kb 问题 基于视图 主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde 阅读全文

摘要：dremio 的节点包含了执行以及协调，我们可以基于提供的prometheus metrics 进行监控，同时基于提供的jmx 也是一个 不错的选择 主要jmx 监控项 heap 内存以及gc 频率 直接内存使用 轻量级线程监控 指标说明 heap 内存以及gc heap: memory.heap. 阅读全文

摘要：以前大概说明过关于升级的操作，以下详细说明下 流程 备份 数据，可以使用命令 backup,注意需要在master 操作 下载新版本 进行软连接关联 注意需要使用的软连接包含了软件包，配置，以及数据目录（比较推荐使用官方建议的运行配置模式） conf 以及data 分离 执行更新 upgrade 命 阅读全文

摘要：dremio 提供了基于prometheus 的监控，同时也提供了opentracing 的支持（缺少文档说明） 对于prometheus 的支持也是需要进行编译的 编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-promet 阅读全文

摘要：默认dremio 对于添加的数据源进行cache，而且缓存的时间比较长，对于经常变动的数据源就有点不是很方便了，但是我么可以通过替他模式解决 调整元数据刷新频率 如下图 调用sql 操作更新 可以使用forget 模式，参考连接，但是没尝试过 参考资料 https://docs.dremio.com 阅读全文

摘要：参考apache drill 实现一个user_agent 解析的函数 项目结构 maven 项目结构 ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ ├── com │ │ │ │ └── dalong │ │ │ │ └── udf │ │ │ 阅读全文