dbt dremio 自定义的几个macro 简单说明

关于自定义schema 以前简单说明过，实际上dbt 支持了好几个预留的macro，可以方便进行自定义，比如schema，database，aliases，target

dbt dremio adapter 的几个自定义macro

实际上就是上边说的，schemas，aliases，databases

• 参考自定义

如下图

• schema 定义

核心是结合是否是data lake 进行的处理, 命名上符合dbt 标准的dispatch 处理，其他database，aliases 的处理类似

{% macro dremio__generate_schema_name(custom_schema_name, node) -%}

  {%- set default_schema = target.schema if not is_datalake_node(node)

    else target.root_path -%}

  # 会结合是否是data lake 进行处理

  {%- set custom_schema_name = custom_schema_name if not is_datalake_node(node)

    else node.config.root_path -%}

  {{ generate_schema_name_impl(default_schema, custom_schema_name, node) }}

{%- endmacro %}

 

{% macro generate_schema_name_impl(default_schema, custom_schema_name=none, node=none) -%}

  {%- if custom_schema_name is none -%}

 

      {{ default_schema }}

 

  {%- else -%}

 

      {{ custom_schema_name }}

 

  {%- endif -%}

{%- endmacro %}

• 使用

目前在twin_strategy 中的apply_twin_strategy 进行了明确的定义, 使用如下，主要是进行relation的自定义处理

{%- if target_relation.type == 'view' -%}

  {%- if twin_strategy != 'allow' -%}

    {%- set table_relation = api.Relation.create(

        identifier=generate_alias_name_impl(model.name, config.get('file', validator=validation.any[basestring]), model),

        schema=generate_schema_name_impl(target.root_path, config.get('root_path', validator=validation.any[basestring]), model),

        database=generate_database_name_impl(target.datalake, config.get('datalake', validator=validation.any[basestring]), model),

        type='table') -%}

    {{ adapter.drop_relation(table_relation) }}

  {%- endif -%}

{%- elif target_relation.type == 'table' -%}

  {%- if twin_strategy in ['prevent', 'clone'] -%}

    {%- set view_relation = api.Relation.create(

        identifier=generate_alias_name_impl(model.name, config.get('alias', validator=validation.any[basestring]), model),

        schema=generate_schema_name_impl(target.schema, config.get('schema', validator=validation.any[basestring]), model),

        database=generate_database_name_impl(target.database, config.get('database', validator=validation.any[basestring]), model),

        type='view') -%}

    {%- if twin_strategy == 'prevent' -%}

说明

上边几个自定义macro 的作用还是很大的，可以基于配置以及vars 实现灵活的控制，对于开发的数据模型，很值得尝试下

参考资料

dbt/include/dremio/macros/materializations/twin_strategy.sql
https://docs.getdbt.com/reference/dbt-jinja-functions/dispatch
https://www.cnblogs.com/rongfengliang/p/18149927
https://docs.getdbt.com/docs/build/custom-schemas
https://docs.getdbt.com/docs/build/custom-aliases
https://docs.getdbt.com/docs/build/custom-databases
https://docs.getdbt.com/docs/build/custom-target-names