2024年6月2日
给vllm添加热添加lora的功能
摘要： 写在前面 原生vllm并不支持热添加lora，但是考虑到微调机微调后，需要在不停机的情况下传递lora，于是我们需要增加一个逻辑 修改VLLM包中的vllm/entrypoints/openai/api_server 1 from pydantic import Bas 2 3 class AddL 阅读全文
posted @ 2024-06-02 15:21 AlphaInf 阅读(442) 评论(0) 推荐(4) 编辑