Qwen2.5环境搭建&推理测试
2024年9月19号，阿里推出Qwen2.5全家桶，各种尺寸的都有。9月29日消息，基准测试平台Chatbot Arena日前公布最新大模型盲测榜单，10天前发布的阿里通义千问开源模型Qwen2.5再次闯入全球十强，其大语言模型Qwen2.5-72B-Instruct排名LLM榜单第十，是前十唯一的中国大模型；Qwen系列视觉语言模型Qwen2-VL-72B-Instruct排名Vision榜单第九，是得分最高的开源大模型。这次这种全尺寸的，我们要选就选一个最小的吧，0.5B的，OK，那就让我们开始吧。
一、模型介绍
Qwen2.5是Qwen大型语言模型系列的最新成果。对于Qwen2.5，我们发布了从0.5到720亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5相比Qwen2带来了以下改进：
1、显著增加的知识量，在编程与数学领域的能力有了极大提升，这得益于我们在这些领域的专业专家模型。
2、在遵循指令、生成长文本（超过8K个token）、理解结构化数据（如表格）及生成特别是JSON格式的结构化输出方面有显著提升。对系统提示的多样性更具韧性，增强了聊天机器人的角色扮演实现和条件设定功能。
3、支持长上下文，最多可达128K个token，并能生成最多8K个token的文本。
4、支持超过29种语言的多语言能力，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。
二、环境搭建
1、模型下载
2、代码下载
git clone
2、环境安装
docker run -it --rm --gpus=all -v /datas/work/zzq:/workspace pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash
pip install transformers==4.37.0 -i
pip install accelerate==0.26.0 -i
pip install auto-gptq -i
pip install optimum -i
三、推理测试
cd /workspace/Qwen2.5/Qwen2.5-main/examples/demo
python cli_demo.py
