调用gpu/cuda常见问题

调用gpu/cuda常见问题

1 、cuda out of memory

1）先查询nvidia-smi 确保gpu未占用

2）调用.cuda()方法前，确保你的系统中有可用的GPU，并且已经安装了适当的GPU驱动和CUDA工具包。否则，将会引发错误。

3) 使用这种方法可以正常使用

util是 glm3 源码中带有

?

1 2 3 4 5 6

# model = AutoModel.from_pretrained("THUDM/chatglm3-6b", #                                   trust_remote_code=True).cuda() # 多显卡支持，使用下面两行代替上面一行，将num_gpus改为你实际的显卡数量 from utils import load_model_on_gpus model = load_model_on_gpus("THUDM/chatglm3-6b", num_gpus=2) model = model.eval()