本地部署DeepSeek极简教程
本文针对DeepSeek R1,使用Ollama运行,平台是Windows。
1. 下载GPU的AI支持包
比如使用Nvidia的显卡做功,那么需要下载和安装cuda,网址:https://developer.nvidia.com/cuda-toolkit-archive
其它厂商的就下载官方的支持包,CPU一般不需要额外下载支持包。
2. 下载Ollama
下载地址:https://ollama.com/download
下载后直接安装即可,本步骤以下内容可跳过。
Note:
Ollama是是Meta公司推出的一个轻量级的、可扩展的框架,用于在本地机器上构建和运行语言模型,支持Windows / Linux / MacOS。
Ollama商用免费(https://github.com/ollama/ollama 的协议是MIT,协议不变,一般商用免费政策不变,注意官方策略动态)。
Ollama默认模型下载路径是C盘,我们可以在Windows环境变量中创建一个名字叫做"OLLAMA_MODELS"变量,变量的value填写我们希望下载的位置即可(生效需重启ollama)。
3. 下载DeepSeek
先根据自己的需求和计算机配置,选择合适的模型,可参考下表:
模型版本 | 参数量(B) | 模型尺寸 | VRAM要求(GB) | 参考GPU配置 |
DeepSeek-R1 | 671 B | 404 GB | ~1342 GB | NVIDIA A100 80GB x16 |
DeepSeek-R1-Distill-Llama-70B | 70 B | 43 GB | ~32.7 GB | NVIDIA RTX 4090 24GB x2 |
DeepSeek-R1-Distill-Llama-32B | 32 B | 20 GB | ~14.9 GB | NVIDIA RTX 4090 24GB |
DeepSeek-R1-Distill-Llama-14B | 14 B | 9 GB | ~6.5 GB | NVIDIA RTX 3080 10GB |
DeepSeek-R1-Distill-Llama-8B | 8 B | 4.9 GB | ~3.7 GB | NVIDIA RTX 3070 8GB |
DeepSeek-R1-Distill-Llama-7B | 7 B | 4.7 GB | ~3.3 GB | NVIDIA RTX 3060 6GB |
DeepSeek-R1-Distill-Llama-1.5B | 1.5 B | 1.1 GB | ~0.7 GB | GPU / NPU / CPU |
打开一个 Powershell 或 cmd 终端,执行:
ollama run deepseek-r1:8b
首次运行,会自动下载指定版本的deepseek,后续使用时也是运行这条命令。
加载成功后,就可以在命令行中进行中文或者英文交流了(如果担心个人数据隐私风险,如学术成果,可以禁止Ollama联网)。
到这一步,就可以正常使用了,后续步骤只是锦上添花,可以不看。
4. 第三方UI
待补充。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体