dremio prometheus监控
摘要：dremio 提供了基于prometheus 的监控，同时也提供了opentracing 的支持（缺少文档说明） 对于prometheus 的支持也是需要进行编译的 编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-promet
阅读全文
posted @ 2021-02-16 22:22
随笔分类 - dremio
dremio
dremio schema 更新的问题
摘要：默认dremio 对于添加的数据源进行cache，而且缓存的时间比较长，对于经常变动的数据源就有点不是很方便了，但是我么可以通过替他模式解决 调整元数据刷新频率 如下图 调用sql 操作更新 可以使用forget 模式，参考连接，但是没尝试过 参考资料 https://docs.dremio.com
阅读全文
posted @ 2021-02-15 10:45
开发一个dremio user_agent 解析函数
摘要：参考apache drill 实现一个user_agent 解析的函数 项目结构 maven 项目结构 ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ ├── com │ │ │ │ └── dalong │ │ │ │ └── udf │ │ │
阅读全文
posted @ 2021-02-14 11:35
java 几个不错的user_agent 解析工具包
摘要：最近在学习dremio，需要开发一个user agent 的函数，所以整理了一些user agent 解析的包，方便使用net.sf.uadetector,nl.basjes.parse.useragent 参考资料 http://uadetector.sourceforge.net/usage.h
阅读全文
posted @ 2021-02-13 23:29
开发自定义的dremio 函数
摘要：dremio 自定义函数的开发与drill 模式是一样的，以下是一个简单demo 预备 dremio 一些核心的功能都是在 dremio-sabot-kernel 中的，可以看看源码还是比较有用的 项目结构 项目主要是创建一个uuid 的函数 项目结构 ├── pom.xml ├── src │ ├
阅读全文
posted @ 2021-02-11 23:11
dremio sql 操作
摘要：主要介绍关于创建相关的操作（比如table，反射，虚拟表） create table 注意并不是所有存储都是支持，一般文件系统相关的会有支持（比如s3,hdfs）,同时也包含了一个隐藏的$scratch 目录 参考命令 注意需要开启CTAS 以及DROP 选项（文件系统的） CREATE TABLE
阅读全文
posted @ 2021-02-11 16:15
dremio 生产部署推荐硬件配置
摘要：以下内容参考自官方的一个参考文档 最低要求 执行节点&&协调节点 8 CPU, 16G 内存,4HDD 或者1SSD 生产推荐 执行节点 32+CPU，128G 内存，12+HDD， 或者3+SDD 协调节点 32+ CPU，128G内存，4HDD 或者SSD（RAID 10） 双工10G bond
阅读全文
posted @ 2021-02-11 15:00
dremio 源码编译
摘要：dremio 是基于java 开发的，项目使用了maven进行包管理，以下是一个简单的源码构建 依赖 java8， maven （至少3.3.9） 构建 构建比较慢，需要等待 构建 git clone https://github.com/dremio/dremio-oss.git dremio c
阅读全文
posted @ 2021-02-11 10:06
dremio 与apache drill 的一些区别
摘要：如果学习dremio 的话，会发现一些与drill 相似的地方，但是也有好多不同的地方，以下是一些区别，参考了网上以及一些自己的理解 dremio 基于apache arrow 更多的push down 能力 支持数据反射（加速数据访问） 提供了数据治理，数据审编，数据血缘，数据访问控制，数据虚拟化
阅读全文
posted @ 2021-02-10 18:21
基于dremio arp sdk 开发一个cratedb 连接器
摘要：目的比较简单，就是学习下dremio 基于arp模式的连接器开发，目前我们可以看到一些官方的demo 但是还是自己尝试下，同时也记录下开发过程中踩的坑 环境准备 基于13 版本 maven 项目结构 为了方便jar 包的分发，使用了shade 扩展 ├── README.md ├── pom.xml
阅读全文
posted @ 2021-02-09 23:41
dremio 学习七 开发arp 连接器
摘要：arp 是dremio 提供的一个高级关系下推框架，可以方便我们开发自定义的数据连接器 arp 开发流程 结构 (比drill 开发方便多了) 存储插件配置 [data source]Conf,java 插件arp yaml 定义文件 [data source].arp.yaml 说明 配置定义了，
阅读全文
posted @ 2021-02-09 00:12
dremio 学习六 数据反射
摘要：数据反射的目的是进行数据的加速处理，dremio 包含了raw 模式、聚合处理，以及外部模式创建反射比较简单，可以给予rest api 的sql以及可视化UI 操作，同时官方也提供了一个比较好的实践文档 参考操作 查看查询效果 说明 以下参考资料值得看看，尤其是官方关于最佳实践的电子书 参考资料 h
阅读全文
posted @ 2021-02-08 23:20
dremio 学习五 管理任务
摘要：主要是关于系统监控，集群监控，服务管理，log 管理，元数据管理，工作负载管理。。。dremio 提供了admin-cli 功能，我们可以方便的进行数据处理，具体操作可以参考一下连接但是注意不是所有特性都支持的，有些是企业特性 参考资料 https://docs.dremio.com/advance
阅读全文
posted @ 2021-02-08 11:46
dremio 学习五 安装以及升级操作
摘要：dremio 的安装以及升级是我们生产使用比较重要的东西 安装 提供了基于rpm 以及tar 包的模式，rpm 的比较简单 tar 模式 需要自己创建用户 sudo groupadd -r dremio sudo useradd -r -g dremio -d /var/lib/dremio -s
阅读全文
posted @ 2021-02-08 11:36
dremio 学习四 内存以及logs 配置
摘要：dremio 是基于java 开发的，对于jvm 以及系统内存的配置就很重要了 最大内存（推荐配置） 最大内容，可以方便dremio 自动基于节点类型进行heap 以及direct 内存的分配 参数 DREMIO_MAX_MEMORY_SIZE_MB=16384 同时我们可以自己配置heap 以及d
阅读全文
posted @ 2021-02-08 11:27
dremio 学习四 服务配置说明
摘要：master coordinator services: { coordinator.enabled: true, coordinator.master.enabled: true, executor.enabled: false } secondary 注意不要运行元数据的命令在secondary
阅读全文
posted @ 2021-02-08 10:53
dremio 学习三 ha 说明
摘要：前边我们基本了解了dremio 的组件构成，一下是关于ha 的一个说明dremio 的ha 使用了一个活动的master coordinator 以及多个备份的coordinator 包含的特点 ha 支持自动恢复操作 ha 模式使用了冷备模式 协调器的选举是通过zk 完成的 元数据存储（kvsto
阅读全文
posted @ 2021-02-08 10:52
dremio 学习三 分布式存储
摘要：分布式存储主要是关于数据加速，表，job 结果还有上传以及下载的数据我们可以通过paths.dist 配置，但是需要注意需要时一样的 参考资料 https://docs.dremio.com/deployment/distributed-storage.html
阅读全文
posted @ 2021-02-08 10:51
dremio 学习三 zk 说明
摘要：默认单机环境下dremio 支持嵌入式的zk，但是对于集群环境，必须要使用zk了 参考配置 services.coordinator.master.embedded-zookeeper.enabled: false zookeeper: "<host1>:2181,<host2>:2181" 一些说
阅读全文
posted @ 2021-02-08 10:50
dremio 学习三 一些限制
摘要：了解dremio 的一些限制可以帮助我们更好的使用 参考表格 参考资料 https://docs.dremio.com/advanced-administration/limits.html
阅读全文
posted @ 2021-02-08 10:47
