摘要：实际上是PEP 517 的定义，主要是对于基于distutils以及setuptools 已经存在太久的时间了，需要一些调整了目前已经有了不少相关的实现了，同时也有不少python 包的开发就是基于了新的规范了，hatch 以及poetry 是一个不错的选择 说明 关于python包开发的，有一本很 阅读全文

摘要：官方提供的一些不错的dbt 周边扩展 metricflow 此功能属于dbt 语义曾的一个核心组件这个是官方在推广的，对于我们进行数据分析很不错，参考玩法 dbt-meshify 这个属于dbt core 的一个扩展，提供了创建group，contract，access，version 以及进行项目 阅读全文

摘要：dbt 在v1.6 版本，官方提供的不少adapter 支持了基于视图的物化处理，这个是一个很不错的功能技术上利用了db 提供的能力，官方提供了相关的介绍，具体可以参考连接 参考资料 https://docs.getdbt.com/blog/announcing-materialized-views 阅读全文

摘要：dbt modules 宏提供了让dbt 访问python 包的能力，处理上基于了jinja 的上下问处理，但是目前官方没有完整暴露此方法 核心还是因为安全问题，只提供了一些时间、正则、迭代处理的，实际使用上基于了python 模块的动态加载（getattr） modules 宏的使用参考 {% s 阅读全文

摘要：cookiecutter python 项目模版工具，可以帮助我们快速基于模版生成python 项目（当然也支持c 项目）有不少python 项目都是基于此工具的比如dbt adapter 开发就基于此提供了方便的adapter 生成 dbt adapter 参考模版 cookiecutter 创建 阅读全文

摘要：dperf minio 团队开源的磁盘性能测试工具 基于golang 开发，使用简单，类似的有fio 说明 相比fio dperf 没有那么多的参数，实际上dperf 核心似乎主要是为了方便minio 使用的，但是对于日常中需要测试一些磁盘问题也是可以的，可以用来发现磁盘的瓶颈 参考资料 https 阅读全文

摘要：jinjat 的设计还是比较有意思的，直接利用了dbt，同时利用了一个analyses配置,analyses 在dbt 中更多属于一个基于现有的模型进行编译，但是不进行 执行，jinjat 就利用了功能，但是扩展了下 参考使用 模型 analysis/my_first_api.sql {%- set 阅读全文

摘要：dbt-duckdb 是一个dbt 扩展，功能很强大，同时社区也有相关的文章，使用duckdb 替换spark 处理一些数据的pipeline因为duckdb 具有很不错的olap 性能，同时支持不少外部数据集成（比如s3，http，parquet，pg。。。。）dbt-duckdb扩展使用起来很方 阅读全文

摘要：dbt 演变以及周边工具是越来月多了，而且有不少db 已经支持dbt 的集成玩法了，官方提供了一些相关开发文档，一些不是很清晰对于我们实际需要开发的，就可以自己摸索，现在new sql 是越来越多了，但是并不是都能更好的支持dbt 内置的一些功能， 连接管理部分 这个部分官方有完整的信息，文档有提供 阅读全文

摘要：automate-dv 基于dbt 的data vault 2.0 落地工具，包装了不少方便的宏，可以方便我们呢进行data vault 2.0 数据仓库建模理论的实际落地 功能 企业级保障 支持data vault 的hub，links，satelintes以及一些扩展（方便使用） 元数据驱动的代 阅读全文

摘要：sqlfluff sql linter 以及自动格式化工具 ,支持多数据库方言，以及模版代码，比较适合ELT 类型的数据分析应用，同时对于dbt 也是比较友好的 特性 多种数据库方言支持 支持模版（jinja，dbt） 可以很好的集成ci/cd dbt 参考效果 因为dbt 使用了jinja 模版引 阅读全文

摘要：dbt 的package 能力可以方便的实现模型的共享，以下是一个简单的示例，实际上我以前写过（很早了，目前dbt 变化还是很大的） 外部模型引用使用说明 实际上是通过ref宏，明确声明包名以及模型,格式{{ref(<project or package name>,<model name>)} 示 阅读全文

摘要：实际上oracle python 驱动自从去年5月左右就提供了thin 模式，对于通过python 连接oracle 的同学是特别的，轻量方便 新版本oracle 驱动支持模式 从下图也可以看出来，支持可选的oracle client 模式 参考使用 oracle 部署(docker-compose 阅读全文

摘要：对于需要进行oracle 数据库测试场景，基于容器运行一个是很不错的选择，同时官方也提供了docker镜像，可以快速拿来使用 运行 docker-compose 文件 实际需要注意的是sid 以及用户密码，详细可以参考以下链接 version: '3' services: oracle: image 阅读全文

摘要：dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re 阅读全文

摘要：dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务，内部基于了dbt-core 提供的cli 编程调用能力 使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度（代码中的wor 阅读全文

摘要：就在最近citus 发布了12 版本 主要包含的新特性 基于schema 的分片（对于一些saas ，面向微服务以及垂直拆分场景比较有用） 基于租户的监控，核心还是对于schema 拆分场景的 merge 支持 基于磁盘大小的rebalance 说明 基于schema 的分片是一个很不错的功能，但是 阅读全文

摘要：因为官方提供的dolphinscheduler 有一些问题，所以自己调整环境变量的配置，方便直接运行 运行 docker-compose 文件 version: "3" services: dolphinscheduler-postgresql: image: bitnami/postgresql: 阅读全文

摘要：dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc 阅读全文

摘要：vite-plugin-federation vite&rollup 模块联邦插件，和webpack 的模块联邦插件兼容模块联邦是一个很不错的前端模块化机制，对于微前端领域是一个很不错的选择，而且vite-plugin-federation 可以直接与webpack 的构建兼容，对于使用不同构建工具 阅读全文