LitServe fastapi endpoint注册简单说明
摘要:
LitServe 是基于fastapi 开发的,因为服务ai 模型的特殊性(一般都比较耗时,运行时间会比较长),LitServe 对于api endpoint 的注册并不是简单的处理,而是包含了一个自己的spec,基于此spec 实现灵活的定义(比如支持openai 兼容模式) 参考注册 spec 阅读全文
posted @ 2024-11-13 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑