dbt test block 简单说明
dbt 的test block实际上是一个jinja2 的扩展，目前主要是test 场景中使用, 此block的实现处理与标准物化的处理是类似的都是jinja2 的扩展
test macro 的创建
按照当前dbt 的版本是分为两中模式，对于tests 路径是可以配置的，包含了tests/generic 以及macros/ ，当然推荐的模式是tests/generic 了
- 参考定义
tests/generic/is_even.sql
{% test is_even(model, column_name) %}
{{log("call test is_even" ~ model ~ column_name, info=True)}}
with validation as (
select
{{ column_name }} as even_field
from {{ model }}
),
validation_errors as (
select
even_field
from validation
-- if this is true, then even_field is actually odd!
where (even_field % 2) = 1
)
select *
from validation_errors
{% endtest %}
- 使用
方法比较多，包含了基于dbt project 级别的配置，以及模型级别的
models/app.yaml
version: 2
models:
- name: mymodel-v2
columns:
- name: code
tests:
- is_even
- 运行
dbt compile
dbt test
编译效果
执行效果
扩展定义
- TestExtension
新版本的common 模块中
class TestExtension(jinja2.ext.Extension):
tags = ["test"]
def parse(self, parser):
node = jinja2.nodes.Macro(lineno=next(parser.stream).lineno)
test_name = parser.parse_assign_target(name_only=True).name
parser.parse_signature(node)
node.name = get_test_macro_name(test_name)
node.body = parser.parse_statements(("name:endtest",), drop_needle=True)
return node
- get_test_macro_name 处理
与其他dbt macro 扩展类似定义了自己的,新版本在 common utils 中
def get_test_macro_name(test_name, with_prefix=True):
name = f"test_{test_name}"
return get_dbt_macro_name(name) if with_prefix else name
- 注册
def get_environment(
node=None,
capture_macros: bool = False,
native: bool = False,
) -> jinja2.Environment:
args: Dict[str, List[Union[str, Type[jinja2.ext.Extension]]]] = {
"extensions": ["jinja2.ext.do", "jinja2.ext.loopcontrols"]
}
if capture_macros:
args["undefined"] = create_undefined(node)
args["extensions"].append(MaterializationExtension)
args["extensions"].append(DocumentationExtension)
args["extensions"].append(TestExtension)
说明
dbt 的test 还是比较强大的，灵活性也比较多，官方是内置了一些test macro，同时也有不少三方工具包,内部上dbt 会将包含test 的解析为resource_type 为test 同时会生成一些对应的sql 模型（只进行执行的不会实践创建）之后还是会调用macro 实现进行check 处理，同时还是
结合配置的severity策略进行提示，实际上内部处理后边会详细介绍下
参考资料
https://docs.getdbt.com/reference/data-test-configs
https://docs.getdbt.com/reference/resource-properties/unit-tests
core/dbt/task/test.py
https://docs.getdbt.com/reference/project-configs/test-paths
https://docs.getdbt.com/reference/resource-configs/severity
