一种在本地部署 Deepseek-R1 蒸馏小模型的方法

摘要:2025 年 1 月,DeepSeek 的 R1 模型发布一周之后,DeepSeek 刷屏主流媒体和社交网站。但由于一些原因,DeepSeek 的网页和 API 多次提示服务器繁忙。本文基于一开源 LLM 服务工具 Ollama 对本地部署 DeepSeek-R1 蒸馏小模型提供了一种方法。

关键词:DeepSeek,Ollama,部署

一、Ollama 的安装

用户可以访问 Ollama 官网或其 GitHub 仓库进行下载。

二、模型的部署和使用

用户可以打开命令行程序,输入命令 ollama run <模型名> 来进行模型的部署和使用。

如果用户未曾安装过对应的模型,则 Ollama 会在联网的条件下自动下载模型;反之则会打开模型的会话。

想要查询对应的模型名称,可以在 Ollama 官网 Models 选项中进行搜索,找到适合自己设备的版本。

三、关于 DeepSeek-R1 的部署细节

首先打开「deepseek-r1」,然后在左侧选项卡中找到参数列表,有 1.5b,7b,8b等选项。一般的,参数越大,模型的能力越强,但对设备的要求也越高。如果只想体验的话,建议使用 7b;若电脑性能或磁盘空间不足,可以使用 1.5b。

接下来,复制右侧的 ollama run deepseek-r1:****b(你也可以手打)到电脑命令行中并按下回车键,接下来 Ollama 会自动下载和配置模型。

下一次使用模型时,可以通过在命令行中再次输入上述命令,或 bat 脚本启动。

下面是一个 1.5b 参数 DeepSeek-R1 小模型的运行实例:
image

posted @   cwkapn  阅读(134)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· NetPad:一个.NET开源、跨平台的C#编辑器
点击右上角即可分享
微信分享提示