06 2024 档案

摘要:这是一篇记录git submodule中存在的坑的文档 引用一个模块的命令 git submodule add http://your-submodule-url.com/ local/path 这个命令可以将一个子模块添加到当前的主仓库中(注意,这样添加的是最新版的) 运行该命令的路径,为主仓库的 阅读全文
posted @ 2024-06-15 21:07 AlphaInf 阅读(88) 评论(0) 推荐(2) 编辑
摘要:写在前面 原生vllm并不支持热添加lora,但是考虑到微调机微调后,需要在不停机的情况下传递lora,于是我们需要增加一个逻辑 修改VLLM包中的vllm/entrypoints/openai/api_server 1 from pydantic import Bas 2 3 class AddL 阅读全文
posted @ 2024-06-02 15:21 AlphaInf 阅读(600) 评论(0) 推荐(6) 编辑

点击右上角即可分享
微信分享提示