LitServe 快速进行ai 模型服务的引擎
摘要：
LitServe 是一个使用简单的基于fastapi 开发方的ai 服务引擎，支持批处理以及streaming 模式 包含的特性 灵活的扩展能力，支持callback 以及中间件模式，对于request 以及response 进行修改 完全控制，可以运行单个或者多个模型进行推理服务 构建组合ai 系 阅读全文
posted @ 2024-11-07 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑
