Ai qwen大模型本地部署

Ai qwen大模型本地部署

官网地址

ollama官网：https://ollama.com

Github：https://github.com/ollama/ollama

环境配置

Windows操作系统一台【小新2019】

 

windows 下载安装工具

https://ollama.com/download

下载对应操作系统的安装包，下载需要开启魔法，不需要注册登录就能下载，可根据个人需求登录注册。

 

下载工具包完成进行傻瓜式安装即可

 

 

 

验证工具安装成功

 

 

查找模型

需要模型，可以在ollama.com官网搜索查找下载的模型，这边使用阿里开源的通义千问大模型qwen

 

https://ollama.com/library

 

安装模型

https://ollama.com/library?q=qwen

# 搜素模型的参数级 并运行安装
ollama run qwen2:7b

 安装过程

安装过程如下，显示sucess表示成功

 测试验证Ai模型

问几个问题和写个脚本，离线单机都可以，这样一个本地部署的gpt模型就完成了

 

 

系统资源使用

2019年电脑系统使用AI工具时CPU占用较高，不影响使用正常检索但速度稍慢，平均一秒钟出现2个字，基本能满足使用。