pydiverse.pipedag 一个快速数据pipeline 调度库

pydiverse.pipedag 实际上就是一个python包，可以用来实现data pipeline 的调度，内部集成了cache，同时可以集成pandas，polars，sqlalchemy，ibis 等框架

说明

对于简单的data pipeline 场景（一般是单机玩法），基于pydiverse.pipedag 是一个可以尝试的库，使用上简单

参考资料

https://github.com/pydiverse/pydiverse.pipedag

https://pydiversepipedag.readthedocs.io/en/latest/

https://pydiversepipedag.readthedocs.io/en/latest/best_practices.html

https://pydiversepipedag.readthedocs.io/en/latest/reference/config.html