2024年2月4日
大模型推理框架 vLLM 源码解析（一）
摘要： 1. Quick Start 创建如下代码，命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗？" ] # 输入prompts sam 阅读全文
posted @ 2024-02-04 18:14 marsggbo 阅读(6910) 评论(1) 推荐(1) 编辑