荣锋亮 - 博客园

dremio starflake data reflections 简单说明

摘要： dremio 支持一类starflake data reflections ，比较有意思，以下是对于来自官方文档的一些说明定义 starflake data reflections 就是反射会join 多个物理数据集，这些数据集部分或者全部是record-preserving join 特点 st 阅读全文

posted @ 2024-03-15 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dremio ControlsInjector 简单说明

摘要： ControlsInjector 在dremio 中的使用特别多，各种执行任务中都能看到它的影子参考使用到的类从下图可以看到使用到ControlsInjector的地方特别多，比如命令创建，fragment启动，dremio 的sql 优化器参考实现如下图是目前的实现类，包含了一个无操作的，阅读全文

posted @ 2024-03-14 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

dremio TemporaryFolderManager 简单说明

摘要： dremio 对于比较大的处理（聚合函数操作可能会触发spill，同时会方法临时文件中），对于比较频繁的job 查询可能会有不少临时文件 TemporaryFolderManager核心是为了进行这些临时文件的管理，包括清理，创建，已经对于临时异常执行器节点的文件处理，对于清理处理dremio 没阅读全文

posted @ 2024-03-13 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

python singledispatch 使用简单说明

摘要： singledispatch 可以实现类似方法的范型能力，以下是使用的简单说明方法参考代码 from functools import singledispatch @singledispatch def add(a,b): return f"default {a}-{b}" @add.regi 阅读全文

posted @ 2024-03-12 19:55 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

python asgi 框架资料

摘要： asgi 是支持python 异步的python web 服务器，框架和应用程序之间的标准接口，目前不少框架已经支持了目前github 上有一个不错的项目，里边包含了各类支持以及实现了asgi 的框架，值得学习 awesome-asgi 参考资料 https://github.com/encode/ 阅读全文

posted @ 2024-03-12 09:47 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

dremio ResultsCleanupService 服务简单说明

摘要： dremio 支持对于jobresult 的定时清理，jobresult 的清理可以减少不少存储空间，尤其查询比较多的时候，默认dremio 每个执行的查询会对于结果集进行本地cache，同时展示使用，同时sys.job_results.<jobid> 也会使用此数据服务创建 DACDaemon 阅读全文

posted @ 2024-03-12 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

gleam 类型安全的编程语言

摘要： gleam 类型安全的新编程语言，基于rust 开发，编程语法上与rust 特性类似，runtime 基于了erlang 特点支持函数式编程基于erlang runtime （当然也就包含了不少erlang 的特性了）包含了完整的工具连（编译器，构建工具，格式化工具，编辑器集成，包管理）可以阅读全文

posted @ 2024-03-11 11:31 荣锋亮阅读(87) 评论(0) 推荐(0) 编辑

dremio 分布式存储配置与hdfs core-site.xml 的关系简单说明

摘要：如果了解dremio 新版本的话，推荐使用的就是分布式存储，同时dremio 也提供了不少的支持，比如hdfs，s3，nas。。。对于分布式存储的配置，官方文档说明的是基于core-ste.xml ，如果不了解内部机制的话，可能比较疑惑，为什么需要这个配置以下进行一些说明分布式配置参考 min 阅读全文

posted @ 2024-03-11 08:01 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

dremio SetOptionHandler 简单说明

摘要： SetOptionHandler 可以进行基于sql 的配置处理，以下是一个简单说明 SetOptionHandler 的创建是在CommandCreator中参考代码 case SET_OPTION: if (sqlNode instanceof SqlAlterTableSetOption) 阅读全文

posted @ 2024-03-10 08:00 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

dremio SafeExit处理流程简单说明

摘要： dremio的SafeExit实现了服务的安全退出，确保job 任务可以正确处理（当服务关闭的时候，没有处理的任务可以正常处理完成），以下是一个简单处理流程说明整体SafeExit 说明目前dremio对于SafeExit的处理，核心是在NodeRegistration 中处理的，具体的触发是阅读全文

posted @ 2024-03-09 08:00 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

resurfaceio goreplay output-resurface 处理简单说明

摘要： resurfaceio goreplay output-resurface 的处理实际上就是开发了一个新的output 插件，对于数据的写入是使用了 resurfaceio 的golang logger sdk 实现简单说明 output_resurface.go，核心就是一个标准的goreplay 阅读全文

posted @ 2024-03-08 09:30 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

dremio sys.job_results.<jobid> 内部处理简单说明

摘要： dremio 支持一种基于select * from sys.job_results.<jobid> 格式的job result 查询，实际上不是物理表，而是vds，以下是一些简单说明参考请求图如下，可以看出，对于上边格式的sql 查询使用的是SysFlightStoragePlugin 存储插阅读全文

posted @ 2024-03-08 08:00 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

scalene python cpu&gpu 性能分析工具

摘要： scalene 使用一个python cpu&gpu 性能分析工具，同时也支持内存的分析，同时还提供了基于ai的智能优化推荐包含的一些特性 cli 支持多种输出格式包含了一个web-gui 基于ai 的智能提示参考使用安装 pip install scalene 包含的cli usage: 阅读全文

posted @ 2024-03-07 14:47 荣锋亮阅读(92) 评论(0) 推荐(0) 编辑

memray python 内存profiler 工具简单试用

摘要： memray python 内存profiler 工具，功能还是很强大的，以下是一个简单使用参考使用安装 pip install memray 支持的cli usage: memray [-h] [-v] [-V] {run,flamegraph,table,live,tree,parse,su 阅读全文

posted @ 2024-03-07 14:47 荣锋亮阅读(151) 评论(0) 推荐(0) 编辑

dremio sql 编辑器自动提示服务简单说明

摘要： dremio 以前代码自动提示的是一个独立的service，之后统一调整到dac的backend 中了，以下是关于实现的一个简单说明服务接口 sql 自动提示，实际上是基于前端与后段集成起来实现的，前端部分我先不介绍，核心主要说明下关于后端部分接口 @POST @Path("/autocompl 阅读全文

posted @ 2024-03-07 08:00 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

resurfaceio 参考架构

摘要： resurfaceio 是graylog 开发的一个api 安全解决方案，设计上使用了不少开源的东西，目前并不完全开源但是通过官方文档介绍，可以看到一些机制参考架构图简单说明: resurfaceio 对于api 安全的处理是通过三大方式解决的，第一中是基于sdk 集成，写入请求信息到resur 阅读全文

posted @ 2024-03-06 17:49 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dremio ViewCreatorFactory 简单说明

摘要： ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了）调用部分实阅读全文

posted @ 2024-03-06 08:01 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

resurfaceio goreplay output-s3 minio 兼容处理

摘要：实际上此问题与以前版本goreplay对于s3 的支持是一样的参考处理添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL，具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中参考使用阅读全文

posted @ 2024-03-05 16:37 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

resurfaceio gor linux 二进制包

摘要： resurfaceio的gor 是对于开源版本的修改（比如开启了企业特性，同时添加了对于resurfaceio http output 的支持），为了方便对于linux 系统的使用我拉取了官方镜像，将二进制文件放到github 了https://github.com/rongfengliang/ 阅读全文

posted @ 2024-03-05 13:18 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

resurfaceio graylog 的api 安全方案

摘要： resurfaceio 是graylog 的api 安全方案，包含的特性特性简易的api 调用捕捉立即攻击以及异常的rest 以及graphql api 处理基于webhook ，sql 查询，以及数据导出自动化处理快速部署本地或者基于k8s 的云环境架构设计 resurfaceio 对阅读全文

posted @ 2024-03-05 13:10 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

flyte 开源工作流调度平台

摘要： flyte 开源工作流调度平台，支持数据，机器学习，flyte 基于golang 开发运行在k8s中，但是支持python，java，scala 等开发语言flyte 支持不少外部集成，比如sql，dbt，great_expectations，duckdb,mlflow,onnx ,modin 等阅读全文

posted @ 2024-03-05 11:17 荣锋亮阅读(54) 评论(0) 推荐(0) 编辑

dremio 文件系统支持view创建&一些问题

摘要：实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是此玩法不太符合官方的设计思想，给禁用了 FileSystemPlugin check 处理参考代码 public boolean createOrUpdateVi 阅读全文

posted @ 2024-03-05 08:01 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

minio sql 查询parquet文件

摘要： minio 支持sql 查询操作，属于一个比较方便的功能，对于parquet 功能的支持默认没开启，需要配置参考配置基于docker-compose 核心是MINIO_API_SELECT_PARQUET: on version: "3" services: minio: image: mini 阅读全文

posted @ 2024-03-04 22:41 荣锋亮阅读(87) 评论(0) 推荐(0) 编辑

dremio 查询执行阶段简单说明

摘要：内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下参考执行图阶段说明参考上图，dremio将执行分为可4个阶段客户端通过jdbc，odbc，rest 提交查询到协调节点计划阶段此阶段可以细分3步 a. 协调节点解析查询为dremio的通用关系模型 b. 协调节点基于数据源的统阅读全文

posted @ 2024-03-04 08:00 荣锋亮阅读(27) 评论(0) 推荐(0) 编辑

dremio ProfileStore 简单说明

摘要：以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore 参考实现如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在阅读全文

posted @ 2024-03-03 08:00 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

Open Data Contract Standard(ODCS) data contracts 标准

摘要： ODCS 属于一个linux 基金会项目，目前处于沙箱阶段包含的特性 data contracts 框架 Fundamentals,Datasets & Schema,Data Quality,Pricing,Stakeholders,Security,Sevice-Level agreement 阅读全文

posted @ 2024-03-02 08:49 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

通过@vercel/ncc 优化node npm 项目的大小

摘要：以前我写过关于使用@vercel/ncc 进行node 应用快速部署的，同时对于node 应用的大小会减少不少 app 参考玩法简单说明:简单玩法可以直接基于ncc 构建就行了，我们可以all-in-one 然后基于ncc build，会自动处理我们的依赖包，然后我们的项目复制构建之后目录的文件阅读全文

posted @ 2024-03-02 08:00 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

dremio jobprofile查询简单说明

摘要： dremio提供了方便的jobprofile 能力，可以进行共享以及分析dremio 查询的性能问题，以下是关于jobprofile 下载功能的简单说明下载处理 SupportResource.java @POST @Path("download") @Consumes(MediaType.APP 阅读全文

posted @ 2024-03-02 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

data contracts 参考资料

摘要：基于data contracts 的数据质量处理似乎是一个很不错的数据开发模式，机制上比较类似微服务开发中的service contracts 我们基于契约对于数据的生产者以及消费者进行约定，确保数据的质量，提高数据团队的协作，同时还有不少工具可以参考说明 open-data-contract-s 阅读全文

posted @ 2024-03-01 08:01 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dremio web ui手工format 处理简单说明

摘要：以前我介绍过通过自动提升处理format，当然dremio也支持手工操作，对于处理包含了文件以及文件夹类型的，我主要说下关于文件夹的处理简单说明对于ui部分是首先进行预处理，获取可能的类型格式，然后就是通过格式预览服务进行数据处理 folder_format参考处理代码包含了一个快速以及默阅读全文

posted @ 2024-03-01 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio CTAS 与数据DML 操作

摘要： dremio对于文件系统支持CTAS （s3，nas，hdfs。。。），以前版本默认创建是是parquet 格式的文件，新版本默认使用iceberg 格式基于iceberg 的格式很有意思，我们不只可以进行数据的显式物化，同时还可以进行数据的多DML，同时还能复用iceberg 强大的数据管理能阅读全文

posted @ 2024-03-01 08:00 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

dremio sample source 简单说明

摘要： dremio 不管是社区版或者企业版默认会包含一个sample的对象存储source，可以让我们直接体验dremio 的能力，以下是关于sample source 的一个简单说明 sample source 说明是一个s3类型的source 里边的内容是dremio 使用的aws s3 的一个开放阅读全文

posted @ 2024-02-29 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio 存储插件查找&home space&用户创建space处理简单说明

摘要： dremio中space或者home 中的view 实际后边都会转换到实际存储插件对应的table，只是处理上少有不同整体简单处理核心是dremio 通过apache calcite 的sql 校验中的处理，catalogreader 是自己的实现DremioCatalogReader，里边需要阅读全文

posted @ 2024-02-28 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

dremio 自动提升分片字段处理简单说明

摘要： dremio自动提升支持自动将文件夹转换为一个列，同时可以实现数据的过滤查询，是一个很不错的功能，比如我们在一些数据归档类的应用中可以基于事件进行分区，之后通过自动提升可以方便的进行数据查询效果查询效果 debug 效果内部处理对于dremio 自动提升的处理我已经介绍过了，实际上核心是分区阅读全文

posted @ 2024-02-27 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dremio 元数据自动提升为物理数据集的功能简单说明

摘要： dremio包含了一个元数据自动提升为物理数据集的功能，对于文件系统我们就不用进行格式提升了，dremio 就可以直接查询了，配置如下当然此功能的前提是数据格式可以被自动发现（dremio 的easy foramt 能力），以下是一个内部处理的简单说明一个参考调用链 stack com.drem 阅读全文

posted @ 2024-02-26 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

通过ncc 打包unpkg 服务

摘要：默认unpkg 是基于rollup 构建的，构建之后还如果实际运行还是需要安装依赖的，基于ncc 是一个很不错的选择可以实现all-in-one 这样实际运行以及docker 容器和会小很多，以下是一个简单说明参考配置主要是添加package script 以及依赖 package scrip 阅读全文

posted @ 2024-02-25 10:03 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

dremio 从S3StoragePlugin看一个存储插件的开发模式

摘要：以前对于S3StoragePlugin 有过简单的说明，以下结合S3StoragePlugin 说明下如何开发一个存储扩展一些标准模式选择实现的存储插件的接口比如s3的因为实际上就是文件系统，所以S3StoragePlugin 实现了FileSystemPlugin 接口的，同时可以复用不少已阅读全文

posted @ 2024-02-25 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

follow-redirects 可以直接替换node http & https 的npm 模块

摘要： follow-redirects 可以直接替换node http & https 的npm 模块包含的特性支持重定向功能支持重定向参数配置，比如最大重定向，以及最大请求大小，支持beforeredirect 请求处理（比如认证处理）支持agents 说明对于业务系统的请求会包含重定向场景的阅读全文

posted @ 2024-02-24 21:19 荣锋亮阅读(56) 评论(0) 推荐(0) 编辑

pkl apple 开源的配置即代码语言

摘要： pkl apple 开源的配置即代码语言应用场景生成静态配置可以方便的生成json，yaml，xml 格式配置应用运行时配置官方提供了swift，go，java，kotlin 语言的支持，可以方便使用说明 github 上的start 不少，值得看看，同时也直接可以集成到spring b 阅读全文

posted @ 2024-02-24 08:00 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

dremio cloner 简单试用

摘要：以前简单介绍过dremio cloner 工具，以下是一个简单试用 dremio 环境准备基于docker-compose，具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose 完成配置安装dremio clon 阅读全文

posted @ 2024-02-23 08:01 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

导航

公告