扬帆起航-梦起者

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

AI智能,搞定DeepSeek本地化安装部署

最近DeepSeek 爆火,自己尝试了下,发现几个问题。 比如:下载无法使用,访问终端页面显示系统崩溃。本地化安装新手比较困难等。

基于此,本文主要重点介绍:

  1. Ollama开源工具安装部署
  2. DeepSeek R1模型及参数说明
  3. 为什么要本地化部署?
  4. ChatBox可视化工具使用。
  5. 同时附上了开箱即用的本地安装保姆级教程。

用一个图描述下Ollama、DeepSeek、ChatBox 三者关系

 


一、Ollama 简介

Ollama: 在本地运行 Mistral、Llama 3.3、DeepSeek R1 等大语言模型的开源工具

Run Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2, and other models, locally.

官网地址  https://ollama.com/

主要优势:

  • 一行命令搞定大模型部署
  • 完全本地运行,保护隐私
  • 支持 Mac、Windows、Linux 系统,快速上手
  • 响应速度快,支持GPU加速(GPU英文全称Graphic Processing Unit,中文翻译为“图形处理器”。我们通常就叫它显卡)

二、Ollama 下载、安装和部署

点击download,进入下载页,有3个版本:Mac,Linux,Windows版本。 为方便大众使用,本教程只讲述:Windows版本本地化安装和部署。

 


注意:电脑系统版本要求windiws10已以上

1、下载到本地

 


出现上面的页面别慌,我找了一个运行程序。请移步百度云盘解锁。

链接: https://pan.baidu.com/s/1rK-uGiabslL2E93iceR_1g?pwd=yyds 提取码: yyds

2、双击运行 OllamaSetup.exe

 


3、点击 install,安装需要一定时间

 

注意:默认安装在C盘,如果想运行模型在其它磁盘,建议通过软链接方式同步到其它磁盘。相应的我们将对应的Ollama运行主程序,大模型运行,日志文件放到指定磁盘.

本文未详细介绍,想要切换的同学可参考:https://blog.llyth.cn/1555.html

4、验证安装是否成功

快捷键 Windows+R , 打开cmd命令窗口,输入

 

出现版本号,即为安装成功

 


三、选择 DeepSeek R1模型

1、选择模型

 


2、参数说明

在 AI 模型(如 DeepSeek-R1)中,参数数量(例如 1.5b、7b、14b 等)是指模型中可训练的参数总数。这些参数是模型通过学习数据来调整的权重,用于捕捉数据中的模式和规律。参数数量通常用来衡量模型的规模和复杂度:

1.5b:15 亿个参数。

7b:70 亿个参数。

14b:140 亿个参数。

32b:320 亿个参数。

70b:700 亿个参数。

671b:6710 亿个参数。

...

一般来说,参数数量越多,模型的表达能力越强,能够处理更复杂的任务,但同时也会对硬件资源(如 GPU 内存、计算能力)要求更高。

3、模型和硬件参数对应关系参考

模型参数规模典型用途CPU 建议GPU 建议内存 (RAM) 建议磁盘空间建议适用场景
1.5b (15亿) 小型推理、轻量级任务 4核以上 (Intel i5 / AMD Ryzen 5) 可选,入门级 GPU (如 NVIDIA GTX 1650, 4GB 显存) 8GB 10GB 以上 SSD 小型 NLP 任务、文本生成、简单分类
7b (70亿) 中等推理、通用任务 6核以上 (Intel i7 / AMD Ryzen 7) 中端 GPU (如 NVIDIA RTX 3060, 12GB 显存) 16GB 20GB 以上 SSD 中等规模 NLP、对话系统、文本分析
14b (140亿) 中大型推理、复杂任务 8核以上 (Intel i9 / AMD Ryzen 9) 高端 GPU (如 NVIDIA RTX 3090, 24GB 显存) 32GB 50GB 以上 SSD 复杂 NLP、多轮对话、知识问答
32b (320亿) 大型推理、高性能任务 12核以上 (Intel Xeon / AMD Threadripper) 高性能 GPU (如 NVIDIA A100, 40GB 显存) 64GB 100GB 以上 SSD 大规模 NLP、多模态任务、研究用途
70b (700亿) 超大规模推理、研究任务 16核以上 (服务器级 CPU) 多 GPU 并行 (如 2x NVIDIA A100, 80GB 显存) 128GB 200GB 以上 SSD 超大规模模型、研究、企业级应用
671b (6710亿) 超大规模训练、企业级任务 服务器级 CPU (如 AMD EPYC / Intel Xeon) 多 GPU 集群 (如 8x NVIDIA A100, 320GB 显存) 256GB 或更高 1TB 以上 NVMe SSD 超大规模训练、企业级 AI 平台

4、安装详细操作

个人电脑为8核16GB,这里选择14b作为样例演示

 

页面显示安装进度,安装需要时间,请耐心等待.....

 


安装成功,测试下,验证结果

 


四、可视化客户端ChatBox AI

ChatBox AI 是学习大模型客户端,类似一个app门户,支持多种大模型应用,支持跨平台,更直观易用。

官网地址:https://chatboxai.app/zh

1、下载安装

 


2、配置ChatBox

找到设置,弹出的页面中配置

 


五、最终测试

关掉网络,查看本地大模型是否生效?

 


可以看到,演示正常。至此,本地大模型安装部署完毕。可以使用啦!

六、小结

  1. 请参考文中的电脑配置选择对应模型。
  2. 无特殊要求,可选择较低参数的模型,更流畅
  3. 数据本地保存安全可靠
  4. 实操起来,快速上手

posted on   扬帆起航-梦起者  阅读(63)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 易语言 —— 开山篇
· 实操Deepseek接入个人知识库
· Trae初体验
点击右上角即可分享
微信分享提示