dlt开源数据加载工具

dlt是一个开源数据加载工具，基于python 开发

特点

• 一个库 
  dlt 就是一个python包，其他地方需要我们自己开发
• 非黑盒系统 
  我们可以基于代码灵活的进行自定义开发
• 基于乘法的玩法，而不是加法
• 自动代码生成 
  包含了类似dbt 的一些处理cli
• 基于python 的玩法 
  dlt 对于数据的处理是基于python 开发的，同时使用上也比较符合python的玩法

官方的一个参考实践

如下图，核心是基于dlt 进行数据加载，基于dbt进行数据建模

说明

基于singer 的etl的开源方案也比较多，dlt 基于python 代码的处理也是值得尝试下的，同时dlt 与dbt 的集成也很强大，值得试用下

参考资料

https://dlthub.com/
https://github.com/dlt-hub/dlt
https://www.getdbt.com/product/what-is-dbt
https://github.com/dbt-labs/dbt-core
https://www.singer.io/
https://github.com/singer-io
https://github.com/singer-io/getting-started/blob/master/docs/SPEC.md#singer-specification