dremio sqlalchemy poetry 模式包管理
摘要：比较有意思的是关于poetry setuptools entry_points 配置的，目前基于script 模式是有问题的，结果通过尝试 使用plugin 模式是可以的 参考配置 [tool.poetry.plugins."sqlalchemy.dialects"] "dremio.flight"
阅读全文
posted @ 2024-03-30 08:00
随笔分类 - 数据集成
dremio sqlalchemy 连接说明
摘要：实际上有社区已经有一个python包了，但是里边一些实现目前有一些问题（pip 包的，当然还有一些数据类型支持的问题） 我fork 进行了一些调整 一些问题 pandas 依赖 应该是pyarrow的调整，我在代码setup.py 添加了 supports_statement_cache 问题 我按
阅读全文
posted @ 2024-03-29 08:00
dremio 异步读取但是没开启cache 的处理
摘要：dremio 对于文件系统支持异步读以及cache 处理，对于cache 的处理只有在开启异步读的时候 参考配置 开启异步数据访问 cache 配置 内部处理 实际上都使用的是ce cache 包中的，getAsyncByteReader 的调用，此方法是标准FileSystem的一个方法 File
阅读全文
posted @ 2024-03-28 08:00
dremio QueryContext 简单说明
摘要：QueryContext 包含了查询相关的一些信息，官方代码注释说应该重名为PlanningContext，主要是在fragment contexts 中使用 接口扩展 如下图，实现了ResourceSchedulingContext以及OptimizerRulesContext 主要实例化的地方
阅读全文
posted @ 2024-03-27 08:00
cloudquery 开源ETL 框架
摘要：cloudquery 开源ETL 框架提供了基于plugin 的数据集成模式 包含的特性 开源，提供了sdk 快速，基于golang 轻量级协程,基于apache arrow 部署方便，就是一个独一的二进制文件 可扩展，cloudquery plugin 是无状态的，可以方便的扩展 说明 cloud
阅读全文
posted @ 2024-03-26 15:24
dremio ce kernel 提供的一些配置类
摘要：dremio ce kernel 包提供了不少对于dremio的扩展类，比如规则，parquet 读取，以及反射处理的，以下是一个简单说明 参考配置 标准的sabot-module.conf 文件 dremio: { classpath.scanning { packages += "com.dre
阅读全文
posted @ 2024-03-25 08:00
dremio cloud cache 简单说明(二)
摘要：以前我介绍过关于cache 的CacheFileSystemWrapper，以下说明下关于cache 缓存以及加载的处理 参考配置 主要是在executor 节点的 services: { coordinator.enabled: false, coordinator.master.enabled:
阅读全文
posted @ 2024-03-24 08:00
dremio AsyncStreamConf 简单说明
摘要：AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置，dremio 存储扩展不少都实现了此接口 参考实现 使用的地方 整体使用 存储插件基本都会使用到，包含了一些reader，同时还有文件系统的包装处理 ce CacheFileSystemWrapper 的使用 这个是d
阅读全文
posted @ 2024-03-23 08:39
dremio 官方对于软件版ha 以及扩展部署的参考方案
摘要：关于dremio 实际大规模部署的记录，内容来自官方文档 dremio 组件架构参考图 此图包含了dremio 的ha 以及扩展，包含了主备Coordinator（故障转移的） 提高查询性能的Coordinator，以及进行实际查询的执行器此部署中依赖lb，共享存储（nfs 类的），zk （协调选举
阅读全文
posted @ 2024-03-22 09:28
soda-data dremio 集成使用
摘要：以前简单介绍过soda 数据质量工具，以下是关于dremio 集成的一个说明 环境准备 dremio dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose soda soda 包
阅读全文
posted @ 2024-03-22 08:00
soda 数据质量测试工具
摘要：soda 数据质量测试工具,可以方便的集成到ci/cd 中，同时支持的数据库也不少，soda 同时还提供了一个强大的metrcis 检查语言基于yaml 配置文件就可以实现强大的数据质量检测（也支持输出数据格式为json，方便分析） 说明 soda 同时也提供了data contract 的支持，对
阅读全文
posted @ 2024-03-21 08:00
dremio python odbc & pandas 集成示例代码
摘要：主要是一个记录，方便后续使用 参考代码 代码 import pyodbc import pandas host = "localhost" port = "32010" user = "admin" password = "admin123" ssl = "false" schema = "s3v2
阅读全文
posted @ 2024-03-20 08:00
dremio SplitOrphansCleanerService 简单说明
摘要：SplitOrphansCleanerService 目前主要是清理一些孤立的split 服务(主要是对于namespaceservice) SplitOrphansCleanerService创建 DACDaemonModule 中，可以看出是分布式master 角色启动的（实际就是master
阅读全文
posted @ 2024-03-18 08:00
hyper-db 试用
摘要：hyper-db 是tableau查询引擎的核心，tableau 官方也提供了比较完整的文档，可以方便学习使用，同时官方也提供了python，c++，java 的api 以下是一个简单试用，体验下hyper 的功能 参考代码 为了方便基于了python 运行，里边已经直接包含了hyper，使用起来比
阅读全文
posted @ 2024-03-17 08:00
dremio-diagnostic-collector dremio集群分析工具
摘要：dremio-diagnostic-collector dremio集群分析工具，支持对于log 以及系统信息的获取，方便分析集群问题 说明 dremio-diagnostic-collector 是开源的，基于golang 编写，后边可以尝试下 参考资料 https://github.com/dr
阅读全文
posted @ 2024-03-16 08:00
dremio starflake data reflections 简单说明
摘要：dremio 支持一类starflake data reflections ，比较有意思，以下是对于来自官方文档的一些说明 定义 starflake data reflections 就是反射会join 多个物理数据集，这些数据集部分或者全部是record-preserving join 特点 st
阅读全文
posted @ 2024-03-15 08:00
dremio ControlsInjector 简单说明
摘要：ControlsInjector 在dremio 中的使用特别多，各种执行任务中都能看到它的影子 参考使用到的类 从下图可以看到使用到ControlsInjector的地方特别多，比如命令创建，fragment启动，dremio 的sql 优化器 参考实现 如下图是目前的实现类，包含了一个无操作的，
阅读全文
posted @ 2024-03-14 08:00
dremio TemporaryFolderManager 简单说明
摘要：dremio 对于比较大的处理（聚合函数操作可能会触发spill，同时会方法临时文件中），对于比较频繁的job 查询可能会有不少临时文件 TemporaryFolderManager核心是为了进行这些临时文件的管理，包括清理，创建，已经对于临时异常执行器节点的文件处理，对于清理 处理dremio 没
阅读全文
posted @ 2024-03-13 08:00
dremio ResultsCleanupService 服务简单说明
摘要：dremio 支持对于jobresult 的定时清理，jobresult 的清理可以减少不少存储空间，尤其查询比较多的时候，默认dremio 每个执行的查询会对于 结果集进行本地cache，同时展示使用，同时sys.job_results.<jobid> 也会使用此数据 服务创建 DACDaemon
阅读全文
posted @ 2024-03-12 08:00
dremio 分布式存储配置与hdfs core-site.xml 的关系简单说明
摘要：如果了解dremio 新版本的话，推荐使用的就是分布式存储，同时dremio 也提供了不少的支持，比如hdfs，s3，nas。。。 对于分布式存储的配置，官方文档说明的是基于core-ste.xml ，如果不了解内部机制的话，可能比较疑惑，为什么需要这个配置 以下进行一些说明 分布式配置参考 min
阅读全文
posted @ 2024-03-11 08:01
