dbt 编写自定义通用测试

以前简单介绍或dbt 的数据测试（包含了通用测试以及异常测试），通用测试可复用性比较高，是比较推荐的选择
而且通用测试的扩展能力也是比较强大的，可以直接引用模型，自定义配置

一个参考使用

version: 2

 

models:

  - name: orders

    columns:

      - name: order_id

        tests:

          - unique

          - not_null

      - name: status

        tests:

          - accepted_values:

              values: ['placed', 'shipped', 'completed', 'returned']

      - name: customer_id

        tests:

          - relationships:

              to: ref('customers') # 通过ref 引用模型

              field: id

参考自定义

一般通用测试需要包含model需要测试的模型以及column_name需要test的列，如果需要扩展新的，直接添加后边就行了

• 参考定义

{% test relationships(model, column_name, field, to) %}

 

with parent as (

 

    select

        {{ field }} as id

 

    from {{ to }}

 

),

 

child as (

 

    select

        {{ column_name }} as id

 

    from {{ model }}

 

)

 

select *

from child

where id is not null

  and id not in (select id from parent)

 

{% endtest %}

• 参考使用

version: 2

 

models:

  - name: people

    columns:

      - name: account_id

        tests:

          - relationships:

              to: ref('accounts') # 通过ref 引用模型

              field: id

一个其他玩法

比如dq-tools 这个工具就使用了jinja2 kwargs 的特性获取一些其他参数

• 参考使用

{% test accepted_values_where_db(model, values) %}

 

{% set column_name = kwargs.get('column_name', kwargs.get('arg')) %}

{% set where = kwargs.get('where', kwargs.get('arg')) %}

{% set severity_level = kwargs.get('severity_level', 'warn') %}

{% set kpi_category = kwargs.get('kpi_category', 'Accuracy') %}

{% set p_invocation_id = invocation_id %}

{% set model_text = model | replace("'", "''") %}

 

....

• config 使用

通用test 中可以包含自己的config

{% test warn_if_odd(model, column_name) %}

 

    {{ config(severity = 'warn') }}

 

    select *

    from {{ model }}

    where ({{ column_name }} % 2) = 1

 

{% endtest %}

说明

dbt 的test 目前来说扩展性还是很不错的，不少基于dbt 的数据质量框架都会基于此进行扩展，使用起来也是很方便的

参考资料

macros/generic_tests/test_recency_db.sql
https://docs.getdbt.com/docs/build/data-tests
https://docs.getdbt.com/reference/data-test-configs
https://docs.getdbt.com/reference/resource-properties/data-tests
https://docs.getdbt.com/best-practices/writing-custom-generic-tests