LitServe 快速部署类openai 接口服务
摘要：
以前简单说明过LitServe 支持openai 接口格式的服务api，以下是一个简单试用 参考代码 app.py import litserve as ls class SimpleLitAPI(ls.LitAPI): def setup(self, device): self.model = N 阅读全文
posted @ 2024-11-08 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑
