LitServe 服务多worker启动简单说明
摘要：
LitServe 是一个基于fastapi 包装的快速推理api 服务，以下只简单说明下关于server 启动部分的处理 参考使用 我们可以通过配置devices 以及每个device 对应的worker 数执行以那种模式进行server 的启动（多线程还是多进程） 参考使用 if __name__ 阅读全文
posted @ 2024-11-09 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑
