2024年9月11日
关于RTX 4090 微调llama2模型时出现nvcc fatal : Unsupported gpu architecture 'compute_89'的解决办法
摘要： RTX 4090是现在普通人可以轻松获取的最好的显卡了。运算速度仅次于专业图形卡Tesla A100，A800，H100 RTX4090显卡是可以单卡推理llama2 7b和13b模型的，7b模型占用缓存14G左右，13b模型单卡推理显存占用在23G多点(只是运行一段时间容易爆显存)，所以普通人都是 阅读全文
posted @ 2024-09-11 17:33 jasonzhangxianrong 阅读(252) 评论(0) 推荐(0) 编辑