图解 vLLM 的推理调度策略

原文： 从continuous batching到vLLM中的batching - 不知叫什么好的文章 - 知乎
https://zhuanlan.zhihu.com/p/688551989

image

posted @ 2024-04-04 10:32  marsggbo  阅读(931)  评论(0)  编辑  收藏  举报