随笔分类 -  数据集成

上一页 1 2 3 4 5 6 7 8 9 ··· 24 下一页

dremio SetOptionHandler 简单说明
摘要：SetOptionHandler 可以进行基于sql 的配置处理，以下是一个简单说明 SetOptionHandler 的创建 是在CommandCreator中 参考代码 case SET_OPTION: if (sqlNode instanceof SqlAlterTableSetOption) 阅读全文

posted @ 2024-03-10 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dremio SafeExit处理流程简单说明
摘要：dremio的SafeExit实现了服务的安全退出，确保job 任务可以正确处理（当服务关闭的时候，没有处理的任务可以正常处理完成），以下是一个简单 处理流程说明 整体SafeExit 说明 目前dremio对于SafeExit的处理，核心是在NodeRegistration 中处理的，具体的触发是 阅读全文

posted @ 2024-03-09 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio sys.job_results.<jobid> 内部处理简单说明
摘要：dremio 支持一种基于select * from sys.job_results.<jobid> 格式的job result 查询，实际上不是物理表，而是vds，以下是一些简单说明 参考请求图 如下，可以看出，对于上边格式的sql 查询使用的是SysFlightStoragePlugin 存储插 阅读全文

posted @ 2024-03-08 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

dremio sql 编辑器自动提示服务简单说明
摘要：dremio 以前代码自动提示的是一个独立的service，之后统一调整到dac的backend 中了，以下是关于实现的一个简单说明 服务接口 sql 自动提示，实际上是基于前端与后段集成起来实现的，前端部分我先不介绍，核心主要说明下关于后端部分 接口 @POST @Path("/autocompl 阅读全文

posted @ 2024-03-07 08:00 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

dremio ViewCreatorFactory 简单说明
摘要：ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了） 调用部分 实 阅读全文

posted @ 2024-03-06 08:01 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

flyte 开源工作流调度平台
摘要：flyte 开源工作流调度平台，支持数据，机器学习，flyte 基于golang 开发运行在k8s中，但是支持python，java，scala 等开发语言flyte 支持不少外部集成，比如sql，dbt，great_expectations，duckdb,mlflow,onnx ,modin 等 阅读全文

posted @ 2024-03-05 11:17 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

dremio 文件系统支持view创建&一些问题
摘要：实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是 此玩法不太符合官方的设计思想，给禁用了 FileSystemPlugin check 处理 参考代码 public boolean createOrUpdateVi 阅读全文

posted @ 2024-03-05 08:01 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

dremio 查询执行阶段简单说明
摘要：内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下 参考执行图 阶段说明 参考上图，dremio将执行分为可4个阶段 客户端通过jdbc，odbc，rest 提交查询到协调节点 计划阶段 此阶段可以细分3步 a. 协调节点解析查询为dremio的通用关系模型 b. 协调节点基于数据源的统 阅读全文

posted @ 2024-03-04 08:00 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

dremio ProfileStore 简单说明
摘要：以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore 参考实现 如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在 阅读全文

posted @ 2024-03-03 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

Open Data Contract Standard(ODCS) data contracts 标准
摘要：ODCS 属于一个linux 基金会项目，目前处于沙箱阶段 包含的特性 data contracts 框架 Fundamentals,Datasets & Schema,Data Quality,Pricing,Stakeholders,Security,Sevice-Level agreement 阅读全文

posted @ 2024-03-02 08:49 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

dremio jobprofile查询简单说明
摘要：dremio提供了方便的jobprofile 能力，可以进行共享以及分析dremio 查询的性能问题，以下是关于jobprofile 下载功能的简单说明 下载处理 SupportResource.java @POST @Path("download") @Consumes(MediaType.APP 阅读全文

posted @ 2024-03-02 08:00 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

data contracts 参考资料
摘要：基于data contracts 的数据质量处理似乎是一个很不错的数据开发模式，机制上比较类似微服务开发中的service contracts 我们基于契约对于数据的生产者以及消费者进行约定，确保数据的质量，提高数据团队的协作，同时还有不少工具可以参考 说明 open-data-contract-s 阅读全文

posted @ 2024-03-01 08:01 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dremio web ui手工format 处理简单说明
摘要：以前我介绍过通过自动提升处理format，当然dremio也支持手工操作，对于处理包含了文件以及文件夹类型的，我主要说下 关于文件夹的 处理简单说明 对于ui部分是首先进行预处理，获取可能的类型格式，然后就是通过格式预览服务进行数据处理 folder_format参考处理 代码 包含了一个快速以及默 阅读全文

posted @ 2024-03-01 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

dremio CTAS 与数据DML 操作
摘要：dremio对于文件系统支持CTAS （s3，nas，hdfs。。。），以前版本默认创建是是parquet 格式的文件，新版本默认使用iceberg 格式 基于iceberg 的格式很有意思，我们不只可以进行数据的显式物化，同时还可以进行数据的多DML，同时还能复用iceberg 强大的数据管理 能 阅读全文

posted @ 2024-03-01 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

dremio sample source 简单说明
摘要：dremio 不管是社区版或者企业版默认会包含一个sample的对象存储source，可以让我们直接体验dremio 的能力，以下是关于sample source 的一个简单说明 sample source 说明 是一个s3类型的source 里边的内容是dremio 使用的aws s3 的一个开放 阅读全文

posted @ 2024-02-29 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dremio 存储插件查找&home space&用户创建space处理简单说明
摘要：dremio中space或者home 中的view 实际后边都会转换到实际存储插件对应的table，只是处理上少有不同 整体简单处理 核心是dremio 通过apache calcite 的sql 校验中的处理，catalogreader 是自己的实现DremioCatalogReader，里边需要 阅读全文

posted @ 2024-02-28 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

dremio 自动提升分片字段处理简单说明
摘要：dremio自动提升支持自动将文件夹转换为一个列，同时可以实现数据的过滤查询，是一个很不错的功能，比如我们在一些数据归档类的应用中可以基于事件进行分区，之后通过自动提升可以方便的进行数据查询 效果 查询效果 debug 效果 内部处理 对于dremio 自动提升的处理我已经介绍过了，实际上核心是分区 阅读全文

posted @ 2024-02-27 08:00 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dremio 元数据自动提升为物理数据集的功能简单说明
摘要：dremio包含了一个元数据自动提升为物理数据集的功能，对于文件系统我们就不用进行格式提升了，dremio 就可以直接查询了，配置如下 当然此功能的前提是数据格式可以被自动发现（dremio 的easy foramt 能力），以下是一个内部处理的简单说明 一个参考调用链 stack com.drem 阅读全文

posted @ 2024-02-26 08:00 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dremio 从S3StoragePlugin看一个存储插件的开发模式
摘要：以前对于S3StoragePlugin 有过简单的说明，以下结合S3StoragePlugin 说明下如何开发一个存储扩展 一些标准模式 选择实现的存储插件的接口 比如s3的因为实际上就是文件系统，所以S3StoragePlugin 实现了FileSystemPlugin 接口的，同时可以复用不少已 阅读全文

posted @ 2024-02-25 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

dremio FileDatasetHandle 简单说明
摘要：FileDatasetHandle 是DatasetHandle的扩展，核心是对于文件系统类的处理（dremio 对于文件系统的支持主要是基于hdfs）同时支持对于不同表格式的处理（delta lake，iceber，parquet），单独说明FileDatasetHandle主要是因为此实现比较重 阅读全文

posted @ 2024-02-21 08:01 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 ··· 24 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示