LitServe 快速进行ai 模型服务的引擎

LitServe 是一个使用简单的基于fastapi 开发方的ai 服务引擎，支持批处理以及streaming 模式

包含的特性

• 灵活的扩展能力，支持callback 以及中间件模式，对于request 以及response 进行修改
• 完全控制，可以运行单个或者多个模型进行推理服务
• 构建组合ai 系统
• 自动缩放
• 多worker 支持
• 支持batch
• 支持多GPU
• openai 指南实现
• streaming 模式支持
• llm 服务支持
• 认证支持

说明

litgpt 就是基于LitServe 开发的，支持的功能还是很多的，对于快速开发ai api 服务还是比较方便的，很值得尝试下，当然不少特别是需要Lightning-AI 平台支持的，Lightning-AI 平台提供的能力还是很多的

参考资料

https://github.com/Lightning-AI/LitServe
https://lightning.ai/docs/litserve
https://github.com/Lightning-AI/litgpt
https://lightning.ai/docs/litserve/features