kedro 参考架构
内容来自官方文档,主要是一个记录,方便学习使用,通过此图我们可以快速的了解kedro的开发机制以及内部运行,有助于阅读源码对于kedro进行扩展
参考图
说明
上图中包含了kedro project 说明了对于pipeline 开发者的代码结构以及开发流程(一般我们基于标准模版开发就可以了),kedro framework是kedro 提供的内部能力包含了session,context,hooks以及cli ,kedro starter 核心是一个模版,有助于快速开发,kedro library 提供了io 操作,pipeline 抽象,runner 抽象以及基于OmegaConf的配置管理,kedro extension 部分是可以基于starter,python 库等开发的hooks,cli 或者其他组件(比如datasets 等)
参考资料
https://docs.kedro.org/en/stable/extend_kedro/architecture_overview.html
https://github.com/kedro-org/kedro-plugins
https://github.com/kedro-org/kedro-plugins/tree/main/kedro-datasets
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
2023-09-22 vapor 基于swift 的web 框架
2023-09-22 'main' attribute cannot be used in a module that contains top-level code 问题解决
2018-09-22 dgraph cluster docker-compose 安装