2023年8月6日

cookiecutter python 项目模版工具

摘要: cookiecutter python 项目模版工具,可以帮助我们快速基于模版生成python 项目(当然也支持c 项目)有不少python 项目都是基于此工具的比如dbt adapter 开发就基于此提供了方便的adapter 生成 dbt adapter 参考模版 cookiecutter 创建 阅读全文

posted @ 2023-08-06 21:10 荣锋亮 阅读(52) 评论(0) 推荐(0) 编辑

dperf minio 团队开源的磁盘性能测试工具

摘要: dperf minio 团队开源的磁盘性能测试工具 基于golang 开发,使用简单,类似的有fio 说明 相比fio dperf 没有那么多的参数,实际上dperf 核心似乎主要是为了方便minio 使用的,但是对于日常中需要测试一些磁盘问题也是可以的,可以用来发现磁盘的瓶颈 参考资料 https 阅读全文

posted @ 2023-08-06 12:06 荣锋亮 阅读(141) 评论(0) 推荐(0) 编辑

jinjat 基于dbt 构建低代码数据应用

摘要: jinjat 的设计还是比较有意思的,直接利用了dbt,同时利用了一个analyses配置,analyses 在dbt 中更多属于一个基于现有的模型进行编译,但是不进行 执行,jinjat 就利用了功能,但是扩展了下 参考使用 模型 analysis/my_first_api.sql {%- set 阅读全文

posted @ 2023-08-06 11:39 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

dbt-duckdb dbt duckdb 强大的adapter

摘要: dbt-duckdb 是一个dbt 扩展,功能很强大,同时社区也有相关的文章,使用duckdb 替换spark 处理一些数据的pipeline因为duckdb 具有很不错的olap 性能,同时支持不少外部数据集成(比如s3,http,parquet,pg。。。。)dbt-duckdb扩展使用起来很方 阅读全文

posted @ 2023-08-06 11:13 荣锋亮 阅读(279) 评论(0) 推荐(0) 编辑

dbt adapter 开发一些资料

摘要: dbt 演变以及周边工具是越来月多了,而且有不少db 已经支持dbt 的集成玩法了,官方提供了一些相关开发文档,一些不是很清晰对于我们实际需要开发的,就可以自己摸索,现在new sql 是越来越多了,但是并不是都能更好的支持dbt 内置的一些功能, 连接管理部分 这个部分官方有完整的信息,文档有提供 阅读全文

posted @ 2023-08-06 11:05 荣锋亮 阅读(63) 评论(0) 推荐(0) 编辑

导航