2024年8月7日
QWen2-72B-Instruct模型安装部署过程
摘要： 最近在给我们的客户私有化部署我们的TorchV系统，客户给的资源足够充裕，借此机会记录下部署千问72B模型的过程，分享给大家！ 一、基础信息 操作系统：Ubuntu 22.04.3 LTS GPU: A800(80GB) * 8 内存：1TB 二、软件信息 Python: 3.10 Pytorch： 阅读全文
posted @ 2024-08-07 12:23 Knife4j 阅读(1987) 评论(1) 推荐(0) 编辑