06 2024 档案
摘要:这是一篇记录git submodule中存在的坑的文档 引用一个模块的命令 git submodule add http://your-submodule-url.com/ local/path 这个命令可以将一个子模块添加到当前的主仓库中(注意,这样添加的是最新版的) 运行该命令的路径,为主仓库的
阅读全文
摘要:写在前面 原生vllm并不支持热添加lora,但是考虑到微调机微调后,需要在不停机的情况下传递lora,于是我们需要增加一个逻辑 修改VLLM包中的vllm/entrypoints/openai/api_server 1 from pydantic import Bas 2 3 class AddL
阅读全文