荣锋亮 - 博客园

dremio-stress dremio 压力测试工具

摘要： dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来说明此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更阅读全文

posted @ 2024-05-09 11:57 荣锋亮阅读(63) 评论(0) 推荐(0) 编辑

japicmp jar 文件比较工具

摘要： japicmp 是一个比较强大的工具，可以方便的进行jar 文件的比较，同时提供各类输出格式，java class 解析上使用了javassist同时我们配置jar 的classpath，进行完整比较，也可以忽略，japicmp 也提供了maven plugin 可以方便使用，如果希望在系统中集成我阅读全文

posted @ 2024-05-09 00:07 荣锋亮阅读(189) 评论(0) 推荐(0) 编辑

dbt flags 简单说明二

摘要：以前简单说过，实际上dbt 的flags 提供的参数还是不少的参考内容一个参考内容可以看出还是不少信息的 flags Namespace(WRITE_JSON=True, WARN_ERROR=None, PROFILES_DIR='xxxx/.dbt', INDIRECT_SELECTION 阅读全文

posted @ 2024-05-09 00:04 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

ssl check 工具以及参考命令

摘要：有时我们希望对于ssl 进行一些信息的查看，以下是一些工具，以及参考使用命令 nmap nmap --script ssl-enum-ciphers -p 5671 possum.lmq.cloudamqp.com openssl openssl s_client -connect possum.l 阅读全文

posted @ 2024-05-08 16:52 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

dremio dbt 升级到1.7 版本了

摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

posted @ 2024-05-08 11:58 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dbt on_configuration_change 简单说明

摘要： dbt on_configuration_change 目前主要是在处理物化视图中，on_configuration_change 包含了三类设置参考设置 apply 是默认参数，尝试进行更新存在的数据库对象 continue 允许继续运行，但是提供一个警告 fail 如果捕捉到变动就失败参考使阅读全文

posted @ 2024-05-08 11:57 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

dremio 新的logback 日志配置自动reload 功能简单说明

摘要： dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

posted @ 2024-05-08 08:00 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

dremio dbt 集成nessie分支扩展说明

摘要： dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的）以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用阅读全文

posted @ 2024-05-07 09:43 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio AuthProvider 简单说明

摘要： AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区阅读全文

posted @ 2024-05-07 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

dbt relation 包含的一些额外方法简单说明

摘要：在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法，以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation，InformationSchema 类以及各种基于BaseRelation 阅读全文

posted @ 2024-05-06 07:35 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

git-commit-id-maven-plugin 插件使用

摘要： git-commit-id maven-plugin 是一个比较有意思的插件，可以提供一些git 详细相关的元数据信息到jar 包中，这样有利于我们分析业务问题（里边包含了git commitid，分支，提交人，提交日志等信息），以下是一个简单试用项目准备一个多模块项目父pom.xml <? 阅读全文

posted @ 2024-05-06 07:26 荣锋亮阅读(228) 评论(0) 推荐(0) 编辑

dremio UserService 简单说明

摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法类图可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为阅读全文

posted @ 2024-05-05 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

cryostat jvm 容器化环境安全的jfr管理工具

摘要： cryostat 属于一个jfr 管理工具，由红帽团队开发，可以用来安全的管理容器环境中的jfr 处理包含的工具 operator 可以方便的集成到k8s，openshift 中 agent 可以实现cryostat 发现以及jfr 数据的推送 grafana datasource 支持数据gr 阅读全文

posted @ 2024-05-04 16:12 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio 数据集自动提升处理简单说明

摘要： dremio 对于数据集自动提升可以通过ui，也可以通过sql，当然rest api 也是可以的，目前sql 使用起来相对简单，但是缺少一些配置参数 sql 模式参考命令 // 当前推荐的模式 ALTER TABLE s3.dalong.demo REFRESH METADATA AUTO PROM 阅读全文

posted @ 2024-05-04 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

dbt show 内部实现简单说明

摘要：以前简单介绍过关于dbt show 的使用，以下简单说明下关于内部处理参考实现核心是show.py 中的ShowTask 参考代码 class ShowTask(CompileTask): # 进行判断参数必须包含select 或者inline def _runtime_initialize(s 阅读全文

posted @ 2024-05-04 00:24 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dbt 一些默认可以扩展的macro

摘要：我只结合adapter 包中对于global macro 一些扩展进行说明，还会有其他地方支持扩展的macro（比如自定义schema 的）系统adapter 提供的几个扩展 dbt/adapters/sql/impl.py 中几个参考定义以下这几个是留给了具体adapter 实现进行扩展（有阅读全文

posted @ 2024-05-04 00:24 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

dbt show 命令处理简单说明

摘要： dbt show 主要做以下事情内部处理编译基于sql 的model，test，analysis，或者执行基于--inline的sql ，当前不支持python模型在dw 中执行查询在终端中预览结果备注：默认limit 为5 ，但是可以自己调整通过--limit 参数，同时dbt sho 阅读全文

posted @ 2024-05-03 07:23 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

dremio 读取 jsonl 格式支持

摘要：实际上属于dremio 社区一个问题，内部实际上是dremio 对于格式化插件支持的问题, 不少是基于文件格式硬编码的，尽管我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理直接修改JSONFormatPlugin 代码支持jsonl 参考阅读全文

posted @ 2024-05-02 11:31 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

dbt docs 解析的替换方案

摘要： supercharged-dbt-docs 是dagster 基于dbt-docs 以及next.js 进行重写的dbt docs 解析以及渲染服务，加速速度很不错，官方有比较对于大型dbt项目加速速度比较慢的可以试用下参考资料 https://github.com/dbt-labs/dbt-do 阅读全文

posted @ 2024-05-02 08:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dbt 自定义AdapterPlugin 中dependencies 简单说明

摘要：结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

posted @ 2024-05-01 08:39 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dbt 自定义schema 简单说明

摘要： dbt 的schema 我们是可以灵活进行自定义的，可以实现一个比较有意思的事情使用场景模型级别的schema自定义 seed 数据schema自定义不同env 或者vars 的schema 自定义不同target schema 的自定义 schema 自定义核心是generate_sch 阅读全文

posted @ 2024-05-01 08:38 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dbt Relation 扩展简单说明

摘要： dbt 的Relation 实际上就是包含关系数据库表，数据库，schema 一些信息的描述，dbt 官方提供了api.Relation.create 等操作进行Relation 的维护，当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中阅读全文

posted @ 2024-05-01 08:37 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

使用@lakehouse-rs/flight-sql-client nodejs api 快速访问dremio 服务

摘要： @lakehouse-rs/flight-sql-client 是基于rust 开发的node arrow flight sql client ，dremio 目前也是推荐基于arrow flight sql 的访问模式参考代码 package.json { "name": "node-arrow 阅读全文

posted @ 2024-05-01 08:37 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

dbt docs generate 简单说明

摘要： dbt docs generate 核心是获取dbt 项目的元数据信息（包含了project 的）以及相关table的（dbt 模型相关的），然后通过提供的解析页面进行显示目前是基于静态处理的（先生成，然后基于纯web 的解析渲染）对于展示方法很多，可以基于dbt 的docs serve 命令也可阅读全文

posted @ 2024-05-01 07:35 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

dbt dbt-audit-helper 包提供的一些方便macro

摘要： dbt-audit-helper 从字面意思是dbt 的审计帮助工具，但是实际上我们也可以使用此工具做一些数据质量相关的东西 dbt-audit-helper 提供的macro 比较数据输出包含了compare_relations,compare_queries,compare_row_count 阅读全文

posted @ 2024-04-30 12:08 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

dremio 日志配置

摘要： dremio 对于日志的配置支持基于系统属性以及环境变量的模式，对于环境变量实际上也是使用的系统属性参考配置系统属性可以直接通过dremio-env 文件添加 -Ddremio.log.path=/opt/dremio/logs 环境变量直接添加环境变量就可以了 DREMIO_LOG_DIR 阅读全文

posted @ 2024-04-30 11:44 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

dbt Exposure 简单说明

摘要： dbt Exposure 实际上就是给model，source，metrics 添加一个元数据标签，可以方便的在系统中展示，有利于模型依赖的可视化当然也有助于数据模型资产的分析一个参考效果如果不自己进行解析处理的话，主要体现在docs 界面上参考资料 https://docs.getdbt.c 阅读全文

posted @ 2024-04-30 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

dremio The source [xxxx] is currently unavailable. Metadata is not accessible; please check node health简单说明

摘要：最近在dremio 25.0 版本碰到了一些问题，以下说明下原因以及处理问题现象问题实际上此问题是执行节点报的错误，并不是协调节点的，早期一直以为是协调节点的，结果通过分析调试发现是协调节点报的错误 The source [xxxx] is currently unavailable. Met 阅读全文

posted @ 2024-04-29 08:36 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

dbt test block 简单说明二

摘要：以前简单说明过dbt test block，属于一个自定义的扩展，同时也简单说明了一些使用，实际上dbt 的test 也是一个物化处理，支持物化的类型为test 参考manifest test 类型的定义因为存在此定义，按照dbt 的处理会基于物化的规则来进行sql 生成处理 test 物化参考定阅读全文

posted @ 2024-04-29 07:32 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

dbt context 变量简单说明

摘要： dbt 的模型以及macro 中实际上是可以引用一个context 变量的，此变量没有在文档中有说明，但是官方一些macro 中使用了此变量参考使用 dbt 的snapshots strategies 处理中基于配置的strategy 查找对应的macro {% macro strategy_di 阅读全文

posted @ 2024-04-28 08:00 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

dbt seed 处理简单说明

摘要： dbt 支持基于seed 的快速建模处理（比较适合测试环境使用），我们只需要提供csv 格式的文件，之后执行dbt seed 就会创建对应的模型，之后我们就可以在 dbt 模型中引用了，以下简单说明下内部实现以及处理参考使用 seed 文件位置一般我们会在dbt 项目的seed 目录中放对应的s 阅读全文

posted @ 2024-04-27 08:00 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

dremio 25.0 KVStore 升级简单说明

摘要： dremio 25.0 开始对于数据源的存储支持加密了，所以升级上稍有不同，官方给出的操作流程如下参考处理 // 对于已经运行的，应该先stop，然后进行应用包的替换 dremio stop // 执行dremio-admin 的upgrade dremio-admin upgrade // 启动阅读全文

posted @ 2024-04-27 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

dremio datastore简单说明二

摘要：以前也介绍过dremio 的datastore，目前软件版主要是基于rocksdb 的kv，对于创建会基于一个的集群角色使用不同的 dremio 实际包含了好几类的KVStoreProvider 参考KVStoreProvider实现子类可以看到包含了local，remote，trace，noop 阅读全文

posted @ 2024-04-26 08:00 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

dbt server 简单说明

摘要：目前dbt 官方提供的几个web api 服务基本都废弃了，包含了dbt-server 以及dbt-rpc 如果需要自己包装web api 服务推荐的还是基于dbt core 提供的dbtRunner，具体在core/dbt/cli/main.py 中，可以参考学习参考资料 https://git 阅读全文

posted @ 2024-04-26 07:15 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

dbt 增量物化策略简单说明

摘要： dbt 物化模型是支持增量处理的，实际场景中基于增量的数据处理还是比较重要的，dbt 对于增量的处理会和一些因素有关系，比如数据大小，可靠的unique_key 以及特定数据平台的支持incremental_strategy 策略可以对于特定adapter 支持配置目前支持的增量策略当然与实际阅读全文

posted @ 2024-04-25 07:07 荣锋亮阅读(51) 评论(0) 推荐(0) 编辑

dbt is_incremental macro 简单说明

摘要： is_incremental macro 实际上就是一个判断，以下是实现的简单说明，官方文档也有说明参考处理逻辑模型必须存在（数据库中），目的表也存在（数据库中），full-refresh 没有传递，模型配置了materialized='incremental' macro 实现结合上边的逻阅读全文

posted @ 2024-04-24 07:14 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dbt test block 简单说明

摘要： dbt 的test block实际上是一个jinja2 的扩展，目前主要是test 场景中使用, 此block的实现处理与标准物化的处理是类似的都是jinja2 的扩展 test macro 的创建按照当前dbt 的版本是分为两中模式，对于tests 路径是可以配置的，包含了tests/gener 阅读全文

posted @ 2024-04-23 07:42 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

nginx 1.25.5 发布

摘要：就在最近nginx 发布了1.25.5 有一些特性比较有意思新特性 stream 支持虚拟主机了比较有意思的功能，结合sni 可以做一些很有意思的事情一个新的模块ngx_stream_pass_module 与proxy_pass 类似，目前主要是proxy 到ip port （域名以及类似u 阅读全文

posted @ 2024-04-22 10:01 荣锋亮阅读(166) 评论(0) 推荐(0) 编辑

dbt exceptions macro 简单说明

摘要： dbt exceptions 实际属于一个namespace 变量可以进行一些代码可控的异常处理以及raise 以及warn 参考使用 raise_compiler_error 使用 {% if number < 0 or number > 100 %} {{ exceptions.raise_co 阅读全文

posted @ 2024-04-22 07:34 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dbt 使用adapter.dispatch 进行macro 的覆盖处理

摘要： adapter.dispatch 是一个很方便的功能，可以实现方法的重载，对于不同环境可以使用不同的macro ，以下是一个简单示例 macro 定义 appdemo.sql 注意在macros 目录下，当然可以修改 {% macro demo(name,age) %} # 注意此处我没有指定，na 阅读全文

posted @ 2024-04-21 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

导航

公告