随笔分类 -  数据分析

上一页 1 2 3 4 5 6 7 8 9 ··· 56 下一页

dbt 部分macro 中namespace的使用简单说明
摘要：比如在dbt adapter 中的snapshot_check_all_get_existing_columns 中就使用了namepace 这个对象，以下简单说明下 namespace 对象的作用 实际上就是进行跨scope 的数据共享，因为jinja2 每个block 中的设置的变量是不能跨范围 阅读全文

posted @ 2024-06-14 06:00 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

dbt yaml selector 简单说明
摘要：dbt 基于yaml 的selector 实际上就是一个yaml 格式文件，我们在运行的时候可以指定一个配置好的selector 文件，这样实际运行的 时候就比较方便了 主要作用 清晰 方便版本控制 可重用 参考使用 配置 selectors.yml selectors: - name: night 阅读全文

posted @ 2024-06-13 06:15 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

dbt seed 配置简单说明
摘要：dbt 的seed是进行一些初始化数据建模的，可以方便测试，或者在一些场景提供基础数据，dbt 对于seed 支持不少配置，比如seed 的schema 位置，csv 分隔符处理，seed 中数据类型定义，当然还有 一些dbt 的通用配置（比如tag，meta，tests）,我以前简单说明过seed 阅读全文

posted @ 2024-06-12 05:38 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

dbt select支持的方法简单说明
摘要：对于一个大型的dbt 项目，我进行按需选择模型还是很重要的，dbt 基于select 可以支持多样的选择方法 支持的模式 tag 模式 dbt run --select "tag:nightly" source 模式 dbt run --select "source:snowplow+" 资源类型模 阅读全文

posted @ 2024-06-11 06:10 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

ollama gpu 集成测试qwen2 7b 模型
摘要：昨天测试了下基于ollama cpu 模式运行的qwen2 对于小参数0.5b 以及1.5b 的速度还行，但是你的cpu 核数以及内存还是需要大一些 今天测试下基于gpu 的qwen2 7b 模型，以下简单说明下 安装ollama 如果我们申请的机器包含了GPU，ollama 的安装cli 还是比较 阅读全文

posted @ 2024-06-10 08:24 荣锋亮 阅读(1230) 评论(0) 推荐(0) 编辑

ollama qwen2 运行&openai 兼容api 测试
摘要：qwen2 模型已经发布了，各种新闻都说很不错，所以通过ollama 测试下 安装ollama cli curl -fsSL https://ollama.com/install.sh | sh 启动服务 ollama serve 拉取qwen2:1.5b 模型 使用了api 模式 cli curl 阅读全文

posted @ 2024-06-10 08:24 荣锋亮 阅读(3014) 评论(5) 推荐(0) 编辑

dbt macro kwargs 参考的使用
摘要：从机制上实际上属于jinja2 的功能，可以实现灵活的扩展能力 jinja2 macro 提供的几个变量 varargs 就类似python 的var 变量 kwargs 是实现了keywords 参数的变量，可以获取传递的keyword 信息（实际上就是一个字典） caller 是在使用call 阅读全文

posted @ 2024-06-10 07:13 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

dbt exceptions 简单说明二
摘要：以前对于dbt 提供的exceptions namespace 方法进行了说明，实际是dbt 对于exceptions 细化的还是比较明确的，以前没详细说明 当前包含的exceptions 信息 exceptions_jinja.py CONTEXT_EXPORTS = { fn.__name__: 阅读全文

posted @ 2024-06-09 07:07 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dbt graph 上下文变量简单说明
摘要：dbt graph 上下文变量，包含了dbt 项目相关的nodes 信息（比如model，source，metrics，macros，tests，snapshots） 因为dbt 包含了不同的处理阶段，实际如果希望获取graph context 中的一些nodes 信息，注意执行的阶段，一般建议的玩 阅读全文

posted @ 2024-06-08 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

dbterd 基于dbt artifacts 生成ERD 代码的工具
摘要：dbterd 基于dbt artifacts 生成ERD 代码的工具，内部是通过dbt-artifacts-parser 对于dbt 项目的元数据进行解析当然看到部分可能会使用dbt-core 的cli 包含的一些特性 支持多种模型格式的target 包含了dbml，mermaid，plant目录， 阅读全文

posted @ 2024-06-07 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

ibis python dataframe 库
摘要：ibis是一个 python dataframe 库 包含的特性 对 20 多个后端使用相同的 API 具有嵌入式 DuckDB（默认）、Polars 或 DataFusion 的快速本地数据帧 修改一行代码即可本地迭代、远程部署 编写 SQL 和 Python 数据框代码，弥合数据工程和数据科学之 阅读全文

posted @ 2024-06-06 08:00 荣锋亮 阅读(104) 评论(0) 推荐(0) 编辑

从源码看dbt-loom 是如何开发dbt plugin的
摘要：以前简单介绍过dbt plugin 有一套明确的格式，实际上与dbt adapter 套路是类似的，以下从源码角度看看dbt-loom 的设计 dbt-loom 参考架构 从此图可以看出，dbt-loom 可以从其他地方获取dbt 的元数据（dbt cloud，本地文件，对象存储），之后基于此插件结 阅读全文

posted @ 2024-06-04 07:32 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

dbt adapter dispatch 处理简单说明
摘要：以前是结合使用对于adapter 的dispatch 有过简单说明，以下结合源码分析下 内部参考处理 参考处理 def dispatch( self, macro_name: str, macro_namespace: Optional[str] = None, packages: Optional 阅读全文

posted @ 2024-06-02 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

dbt dbt-audit-helper 包compare_relation_columns 处理简单说明
摘要：dbt dbt-audit-helper 包在进行compare_relation_columns处理的时候进行数据表列字段创建顺序的判断 参考使用 我按照test 处理的，同时进行的测试异常进行存储 使用 {{ audit_helper.compare_relation_columns( a_re 阅读全文

posted @ 2024-06-01 07:35 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dbt dbt_utils 包中的pivot简单说明
摘要：dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理 行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式 参考实现 {% macro pivot(c 阅读全文

posted @ 2024-05-31 08:00 荣锋亮 阅读(27) 评论(0) 推荐(0) 编辑

dbt dbt-codegen 包简单说明
摘要：dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型 目前包含的macro generate_source source 类的 生成source 信息，实际上就是生成source 的yaml 文件 参考运行命令 cli 模式，就是通过run-operation 执行macro d 阅读全文

posted @ 2024-05-28 08:00 荣锋亮 阅读(41) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明二
摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明 配置 核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

posted @ 2024-05-26 17:21 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明
摘要：dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法 环境准备 docker-compose version: "3" services: n 阅读全文

posted @ 2024-05-24 17:09 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

dbt var 简单说明
摘要：dbt 的var 可以进行变量的定义以及变量的引用，以下简单说明下 参考使用 引用定义的 参考定义 name: my_dbt_project version: 1.0.0 config-version: 2 # Define variables here vars: event_type: acti 阅读全文

posted @ 2024-05-24 08:00 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

dbt get_materialized_view_configuration_changes 简单说明
摘要：dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理，目前一些实现主要是处理 物化视图的，以下说明下内部实现 内部处理 默认实现 dbt-adapter 中，实际为空 {% macr 阅读全文

posted @ 2024-05-23 07:02 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 ··· 56 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示