摘要：
官方环境要求（推理、微调）： 本次部署使用单卡A100-40G显卡。 部署 虚拟环境创建： conda create -n test python=3.10.9 conda activate test #启动虚拟环境 拉取 Llama2-Chinese git clone https://githu 阅读全文
摘要：
官方文档 镜像要求A100-40G-8卡 硬件配置： 软件配置： 1.准备 由于恒源云暂时缺少硬件资源，此次部署使用8*3090-24G配置（需要量化int8）： 注意镜像选择，pytorch版本选择1.13，不要选择2.0，2.0会产生不兼容的情况。 同时需要注意扩容，否则模型存放不够空间 创建实 阅读全文
摘要：
根据实际测试，加载模型需要130G显存，最低需要4张A100*40G显卡。 1.基于Transformers库推理： 首先安装最新版本的transformers： git clone https://github.com/huggingface/transformers.git cd transfo 阅读全文