09 2023 档案
摘要:官方环境要求(推理、微调): 本次部署使用单卡A100-40G显卡。 部署 虚拟环境创建: conda create -n test python=3.10.9 conda activate test #启动虚拟环境 拉取 Llama2-Chinese git clone https://githu
阅读全文
摘要:官方文档 镜像要求A100-40G-8卡 硬件配置: 软件配置: 1.准备 由于恒源云暂时缺少硬件资源,此次部署使用8*3090-24G配置(需要量化int8): 注意镜像选择,pytorch版本选择1.13,不要选择2.0,2.0会产生不兼容的情况。 同时需要注意扩容,否则模型存放不够空间 创建实
阅读全文
摘要:根据实际测试,加载模型需要130G显存,最低需要4张A100*40G显卡。 1.基于Transformers库推理: 首先安装最新版本的transformers: git clone https://github.com/huggingface/transformers.git cd transfo
阅读全文