本地部署DeepSeek极简教程

本文针对DeepSeek R1,使用Ollama运行,平台是Windows。

1. 下载GPU的AI支持包

比如使用Nvidia的显卡做功,那么需要下载和安装cuda,网址:https://developer.nvidia.com/cuda-toolkit-archive

其它厂商的就下载官方的支持包,CPU一般不需要额外下载支持包。

2. 下载Ollama

下载地址:https://ollama.com/download

下载后直接安装即可,本步骤以下内容可跳过。

Note:

Ollama是是Meta公司推出的一个轻量级的、可扩展的框架,用于在本地机器上构建和运行语言模型,支持Windows / Linux / MacOS。

Ollama商用免费(https://github.com/ollama/ollama 的协议是MIT,协议不变,一般商用免费政策不变,注意官方策略动态)。

Ollama默认模型下载路径是C盘,我们可以在Windows环境变量中创建一个名字叫做"OLLAMA_MODELS"变量,变量的value填写我们希望下载的位置即可(生效需重启ollama)。

3. 下载DeepSeek

先根据自己的需求和计算机配置,选择合适的模型,可参考下表:

模型版本 参数量(B) 模型尺寸 VRAM要求(GB) 参考GPU配置
DeepSeek-R1 671 B 404 GB ~1342 GB NVIDIA A100 80GB x16
DeepSeek-R1-Distill-Llama-70B 70 B 43 GB ~32.7 GB NVIDIA RTX 4090 24GB x2
DeepSeek-R1-Distill-Llama-32B 32 B 20 GB ~14.9 GB NVIDIA RTX 4090 24GB
DeepSeek-R1-Distill-Llama-14B 14 B 9 GB ~6.5 GB NVIDIA RTX 3080 10GB
DeepSeek-R1-Distill-Llama-8B 8 B 4.9 GB ~3.7 GB NVIDIA RTX 3070 8GB
DeepSeek-R1-Distill-Llama-7B 7 B 4.7 GB ~3.3 GB NVIDIA RTX 3060 6GB
DeepSeek-R1-Distill-Llama-1.5B 1.5 B 1.1 GB ~0.7 GB GPU / NPU / CPU

打开一个 Powershell 或 cmd 终端,执行:

ollama run deepseek-r1:8b

首次运行,会自动下载指定版本的deepseek,后续使用时也是运行这条命令。

加载成功后,就可以在命令行中进行中文或者英文交流了(如果担心个人数据隐私风险,如学术成果,可以禁止Ollama联网)。

到这一步,就可以正常使用了,后续步骤只是锦上添花,可以不看。

4. 第三方UI

待补充。

posted @   this毛豆  阅读(400)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
点击右上角即可分享
微信分享提示