2024年3月26日

jinja2 通过Template. make_module 进行动态macro 创建以及macro 方法调用

摘要: 实际属于一个小技巧,可以实现比较灵活的jinja2 扩展,是从dbt 对于macro 的处理部分学习到的 参考代码 app.py from jinja2 import Environment env = Environment() # 定义macro 的内容 macro_template = """ 阅读全文

posted @ 2024-03-26 15:26 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

jinja2 实现return macro

摘要: 设计上来自dbt 的return macro, 实际上就是一个macro 会触发一个exception 我们对于这个exception 单独捕获处理下 returnmacro 函数开发 return_macro 函数定义 def return_macro(values): raise MacroRe 阅读全文

posted @ 2024-03-26 15:24 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dbt return macro 内部实现简单说明

摘要: jinja2 默认是没有return macro 的,dbt 在实现的时候比较有意思,通过一个exception 触发的,以下是简单说明 参考使用 一个包含return 的macro {% macro demoapp(name,version) %} {% if version =='v1' %} 阅读全文

posted @ 2024-03-26 15:24 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

cloudquery 开源ETL 框架

摘要: cloudquery 开源ETL 框架提供了基于plugin 的数据集成模式 包含的特性 开源,提供了sdk 快速,基于golang 轻量级协程,基于apache arrow 部署方便,就是一个独一的二进制文件 可扩展,cloudquery plugin 是无状态的,可以方便的扩展 说明 cloud 阅读全文

posted @ 2024-03-26 15:24 荣锋亮 阅读(96) 评论(0) 推荐(0) 编辑

minio __XLDIR__ 后缀文件夹问题

摘要: 最近在通过debug 模式调试dremio 文件写入处理的时候,发现dremio 目录包含了不少__XLDIR__ 后缀的对象(里边是空的,只是后缀包含了__XLDIR__ ) 参考图 问题 目前此问题minio github 上也有一些信息,理论上应该是解决了,但是我目前使用的是比较新的版本的,大 阅读全文

posted @ 2024-03-26 08:00 荣锋亮 阅读(59) 评论(0) 推荐(0) 编辑

导航