vllm 安装踩坑记录
摘要:不太确定最直接简单的安装方法是什么,可以采用如下步骤安装:环境:cuda12.2, 其他库的版本可以按如下requirements文件中指定的版本更新1. 从git链接下载最新的vllm本地包到自定义目录./vllm_source_code/,依次安装该目录下requirements-build.t
阅读全文
posted @ 2025-01-07 18:11
posted @ 2025-01-07 18:11
Powered by:
博客园
Copyright © 2025 Mju_halcyon
Powered by .NET 9.0 on Kubernetes
|
|||||||||
日 | 一 | 二 | 三 | 四 | 五 | 六 | |||
---|---|---|---|---|---|---|---|---|---|
23 | 24 | 25 | 26 | 27 | 28 | 1 | |||
2 | 3 | 4 | 5 | 6 | 7 | 8 | |||
9 | 10 | 11 | 12 | 13 | 14 | 15 | |||
16 | 17 | 18 | 19 | 20 | 21 | 22 | |||
23 | 24 | 25 | 26 | 27 | 28 | 29 | |||
30 | 31 | 1 | 2 | 3 | 4 | 5 |
问题2,出现git问题,先确定你的虚拟环境里面有没有安装git,我是直接用conda install git,安装了一个git解决了报错问题
实际使用过程中,如果数据计算量较小,则加载lgbm到gpu和从gpu卸载的时间是计算需要的时间不成比例,gpu版本的速度不如cpu直接计算的快