2024年6月2日
给vllm添加热添加lora的功能
摘要： 写在前面 原生vllm并不支持热添加lora，但是考虑到微调机微调后，需要在不停机的情况下传递lora，于是我们需要增加一个逻辑 修改VLLM包中的vllm/entrypoints/openai/api_server.py文件，添加下方的代码: 1 from pydantic import Base 阅读全文
posted @ 2024-06-02 15:21 AlphaInf 阅读(125) 评论(0) 推荐(0) 编辑