AI智能,搞定DeepSeek本地化安装部署
最近DeepSeek 爆火,自己尝试了下,发现几个问题。 比如:下载无法使用,访问终端页面显示系统崩溃。本地化安装新手比较困难等。
基于此,本文主要重点介绍:
- Ollama开源工具安装部署
- DeepSeek R1模型及参数说明
- 为什么要本地化部署?
- ChatBox可视化工具使用。
- 同时附上了开箱即用的本地安装保姆级教程。
用一个图描述下Ollama、DeepSeek、ChatBox 三者关系
一、Ollama 简介
Ollama: 在本地运行 Mistral、Llama 3.3、DeepSeek R1 等大语言模型的开源工具
Run Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2, and other models, locally.
官网地址 https://ollama.com/
主要优势:
- 一行命令搞定大模型部署
- 完全本地运行,保护隐私
- 支持 Mac、Windows、Linux 系统,快速上手
- 响应速度快,支持GPU加速(GPU英文全称Graphic Processing Unit,中文翻译为“图形处理器”。我们通常就叫它显卡)
二、Ollama 下载、安装和部署
点击download,进入下载页,有3个版本:Mac,Linux,Windows版本。 为方便大众使用,本教程只讲述:Windows版本本地化安装和部署。
注意:电脑系统版本要求windiws10已以上
1、下载到本地
出现上面的页面别慌,我找了一个运行程序。请移步百度云盘解锁。
链接: https://pan.baidu.com/s/1rK-uGiabslL2E93iceR_1g?pwd=yyds 提取码: yyds
2、双击运行 OllamaSetup.exe
3、点击 install,安装需要一定时间
注意:默认安装在C盘,如果想运行模型在其它磁盘,建议通过软链接方式同步到其它磁盘。相应的我们将对应的Ollama运行主程序,大模型运行,日志文件放到指定磁盘.
本文未详细介绍,想要切换的同学可参考:https://blog.llyth.cn/1555.html
4、验证安装是否成功
快捷键 Windows+R , 打开cmd命令窗口,输入
出现版本号,即为安装成功
三、选择 DeepSeek R1模型
1、选择模型
2、参数说明
在 AI 模型(如 DeepSeek-R1)中,参数数量(例如 1.5b、7b、14b 等)是指模型中可训练的参数总数。这些参数是模型通过学习数据来调整的权重,用于捕捉数据中的模式和规律。参数数量通常用来衡量模型的规模和复杂度:
1.5b:15 亿个参数。
7b:70 亿个参数。
14b:140 亿个参数。
32b:320 亿个参数。
70b:700 亿个参数。
671b:6710 亿个参数。
...
一般来说,参数数量越多,模型的表达能力越强,能够处理更复杂的任务,但同时也会对硬件资源(如 GPU 内存、计算能力)要求更高。
3、模型和硬件参数对应关系参考
模型参数规模 | 典型用途 | CPU 建议 | GPU 建议 | 内存 (RAM) 建议 | 磁盘空间建议 | 适用场景 |
---|---|---|---|---|---|---|
1.5b (15亿) | 小型推理、轻量级任务 | 4核以上 (Intel i5 / AMD Ryzen 5) | 可选,入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存) | 8GB | 10GB 以上 SSD | 小型 NLP 任务、文本生成、简单分类 |
7b (70亿) | 中等推理、通用任务 | 6核以上 (Intel i7 / AMD Ryzen 7) | 中端 GPU (如 NVIDIA RTX 3060, 12GB 显存) | 16GB | 20GB 以上 SSD | 中等规模 NLP、对话系统、文本分析 |
14b (140亿) | 中大型推理、复杂任务 | 8核以上 (Intel i9 / AMD Ryzen 9) | 高端 GPU (如 NVIDIA RTX 3090, 24GB 显存) | 32GB | 50GB 以上 SSD | 复杂 NLP、多轮对话、知识问答 |
32b (320亿) | 大型推理、高性能任务 | 12核以上 (Intel Xeon / AMD Threadripper) | 高性能 GPU (如 NVIDIA A100, 40GB 显存) | 64GB | 100GB 以上 SSD | 大规模 NLP、多模态任务、研究用途 |
70b (700亿) | 超大规模推理、研究任务 | 16核以上 (服务器级 CPU) | 多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存) | 128GB | 200GB 以上 SSD | 超大规模模型、研究、企业级应用 |
671b (6710亿) | 超大规模训练、企业级任务 | 服务器级 CPU (如 AMD EPYC / Intel Xeon) | 多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存) | 256GB 或更高 | 1TB 以上 NVMe SSD | 超大规模训练、企业级 AI 平台 |
4、安装详细操作
个人电脑为8核16GB,这里选择14b作为样例演示
页面显示安装进度,安装需要时间,请耐心等待.....
安装成功,测试下,验证结果
四、可视化客户端ChatBox AI
ChatBox AI 是学习大模型客户端,类似一个app门户,支持多种大模型应用,支持跨平台,更直观易用。
官网地址:https://chatboxai.app/zh
1、下载安装
2、配置ChatBox
找到设置,弹出的页面中配置
五、最终测试
关掉网络,查看本地大模型是否生效?
可以看到,演示正常。至此,本地大模型安装部署完毕。可以使用啦!
六、小结
- 请参考文中的电脑配置选择对应模型。
- 无特殊要求,可选择较低参数的模型,更流畅
- 数据本地保存安全可靠
- 实操起来,快速上手
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 易语言 —— 开山篇
· 实操Deepseek接入个人知识库
· Trae初体验