摘要：
截止这篇笔记，llama.cpp主分支暂时不支持部署VL模型，需要切到一个分支上编译。部署流程整理自这个帖子。 部署流程如下： 1. 在modelscope上将Qwen2-VL-7B-Instruct下载下来。 2. 下载llama.cpp，需要下载这个分支。 3. 编译llama.cpp，流程和上 阅读全文
摘要：
这里选用Qwen2.5-7B-Instruct做例子，其他LLM类似。 VL用这个流程暂时还不行，不过我看到llama.cpp有在讨论这个问题，我验证了也是可行的，后面整理一下。 这里部署流程如下： 1. 在modelscope上将Qwen2.5-7B-Instruct下载下来。 2. 在ggerg 阅读全文