调用gpu/cuda常见问题

调用gpu/cuda常见问题

1 、cuda out of memory

1）先查询nvidia-smi 确保gpu未占用

2）调用.cuda()方法前，确保你的系统中有可用的GPU，并且已经安装了适当的GPU驱动和CUDA工具包。否则，将会引发错误。

3) 使用这种方法可以正常使用

util是 glm3 源码中带有

# model = AutoModel.from_pretrained("THUDM/chatglm3-6b",
#                                   trust_remote_code=True).cuda()
# 多显卡支持，使用下面两行代替上面一行，将num_gpus改为你实际的显卡数量
from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm3-6b", num_gpus=2)
model = model.eval()