基于dremio 开发一个简单的反向ETL
摘要：反向ETL 目前是一个和不错的领域，以下是自己基于一些工具集成参考构思的一个反向ETL 设计方案，具体编码还在规划中以下简单介绍下一些思路 参考图 简单说明 核心是利用了dremio 数据反射以及CTAS 能力（也支持drop），对于数据使用了快照的处理，直接存储在s3中，格式使用了基于时间分区的格
阅读全文
posted @ 2022-01-20 23:36
随笔分类 - dremio
dremio
dremio 20 版本可以下载体验了
摘要：就在1.18 号官方终于发布了20 版本的社区版（19.3 也提供了）大家可以体验了 docker-compose 运行 version: '3' services: dremio: image: dremio/dremio-oss:20.0.0 ports: - "9047:9047" - "31
阅读全文
posted @ 2022-01-20 00:17
dremio 20 发布
摘要：dremio 20 已经发布了，特性挺多，包含了安全的，性能提升的，以及功能增强以下主要说明一些对于私有部署比较有意义的 不兼容变动 logback.xml 的变动，审计日志影响比较大 新特性 审计日志（更加完善了，包含用户id，用户名，操作，sql，类型。。。。） NDV 拆分 目前数据预览特性，
阅读全文
posted @ 2022-01-10 00:11
使用juicefs 做为dremio 的分布式存储
摘要：dremio 包含了一个分布式存储的配置（默认使用本地存储），分布式存储在一些数据查询中是比较重要的比如iceberg 的支持 参考使用图 说明 我们基于juicefs 进行s3 的挂载处理，可以明显的提升s3 的性能，此处我们可以使用hdfs 或者直接挂载的模式 参考资料 https://docs
阅读全文
posted @ 2022-01-09 23:55
cube.js schema 定义多datasource 说明
摘要：实际上我以前有写过类似的使用比较简单，以下明确说明下 参考cube schema 定义 const {MySqlDriver,MySqlQuery} = require("mymysql-cubejs-driver") const {DremioDriver,DremioQuery} = requi
阅读全文
posted @ 2021-11-18 22:44
基于dremio+oceanbase+cube.js 数据服务开发
摘要：主要是一个集成尝试参考图如下： 说明：可以直接基于dremio （vds），或者直接使用oceanbase 的（olap，oltp）能力进行数据服务提供（多租户）同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发，直接基于oceanbase 的好处是多租户能力，以及
阅读全文
posted @ 2021-11-18 01:02
dremio mysql arp 扩展
摘要：开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容（比如oceanbase。。。doris 暂时还没测试） 因为默认官方的是基于maridb的（对于类mysql db 兼容有点问题） 参考代码 核心是arp conf 调整了支持使用mysql jdbc，默认使用了maridb
阅读全文
posted @ 2021-11-17 22:36
apache kyuubi + dremio 集成试用
摘要：主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献） 参考图 简单说明： 我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中，然后使用dremio 强大的能
阅读全文
posted @ 2021-11-14 21:05
使用jproflier 分析dremio
摘要：主要是测试，jprofiler 是收费的软件（可以自己购买），测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof
阅读全文
posted @ 2021-11-06 20:07
dremio rbac 功能简单说明一
摘要：dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的 参考资料 https://docs.dremio
阅读全文
posted @ 2021-10-30 19:38
dremio 19.0 几个扩展包说明
摘要：主要还是以前bug修复的，已经更新到最新19.0 版本了，附带下github 地址 prometheus https://github.com/rongfengliang/dremio-promtheus-exporter mssql https://github.com/rongfengliang
阅读全文
posted @ 2021-10-30 18:37
dremio 实现类似官方create user sql 处理的思路
摘要：主要说明思路，后边有时间了会进行开发的说明 官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa
阅读全文
posted @ 2021-10-30 14:00
dremio 19.0 创建用户bug说明
摘要：最近dremio 发布了19.0 体验了下还是不错的，但是也发现了一些bug 总的来说官方以前的一些bug 是解决了而且上次介绍到的一些功能的确是方便很多了 用户创建bug问题 现象 问题 按照目前玩法，因为创建用户已经是一个企业特性了，而且官方文档也说明 解决方法 当前来说并不是没有解决方法，官方
阅读全文
posted @ 2021-10-30 13:38
dremio 19.0 新特性
摘要：新特性 apache iceberg hive table 支持 新的导航页面 pivot 以及unpivot 操作支持 移除混合类型支持 新job ui 做为默认 其他bug修复 ui 分钟级别的反射可以直接通过配置使用了（以前是需要修改代码。。。。） 移除了依赖arp 扩展的支持（所以以前开发的
阅读全文
posted @ 2021-10-28 23:49
dremio 开启新job ui 的开关
摘要：参考配置 dremio.jobs.new.ui 效果 说明 目前的测试官方18.1 分钟级别的元数据刷新也是支持了 参考资料 https://docs.dremio.com/advanced-administration/support-settings/
阅读全文
posted @ 2021-10-19 12:27
dremio mysql arp integer 超出最大值的问题
摘要：这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的 原因 mysql arp mysql 数据类型与apache calcite 不一致 主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射
阅读全文
posted @ 2021-10-16 22:36
dremio v18.0 软件包可以使用了
摘要：就在昨天官方提供了dremio 18 版本的社区版软件包，运行之后发现整体的ui 还是没有变动，对于混合类型的处理的确和官方的说法一致，当然实际运行之后与发布文档还是有区分的，肯定是有点问题 说明 对于官方的s3 以及ui 分钟级别的反射开启jar 包我也已经编译好了，可以直接使用，推荐暂时还是别直
阅读全文
posted @ 2021-09-11 16:23
dremio create table 几个特殊的能力
摘要：dremio 是支持create table的，官方文档比较简单，只说明了可以直接创建，但是dremio 的create table 其实是更加强大的 如果使用了dremio的ui 的话，数据下载导出就是利用了这个能力，但是默认是在master中执行的，而且数据是放在一个固定的space中 __da
阅读全文
posted @ 2021-09-05 22:01
dremio 内置support key 说明
摘要：目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的 可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。） 参考 代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical
阅读全文
posted @ 2021-09-05 01:11
dremio 反射支持小于小时的处理
摘要：问题 默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui，ui 的修
阅读全文
posted @ 2021-09-05 00:45
