DeepSeek-R1在本地部署离线使用

最近DeepSeek大火，人工智能未来将对工作生活带来很大的改变。

除了在服务器上部署外，我想在本地笔记本上部署一个，当遇到离线环境的时候，依然可以使用人工智能辅助。

本地部署很简答， 一条命令就可以了，下面是部署和测试验证的一些要点记录。

由于服务器资源不够了，只能在其中开一个虚拟机测试，虚拟机的配置为16核，采用RockyLinux9.5版本。

 

部署结果：

测试截图：

1.安装准备

了解模型的大小

DeepSeek-R1 模型参数：671B（6710亿），模型大小：约720G。

DeepSeek-R1-Distill-Qwen-1.5B 模型参数1.5B（15亿），模型大小：约4G

DeepSeek-R1-Distill-Qwen-7B模型参数7B （70亿），模型大小：约15G

DeepSeek-R1-Distill-Llama-8B模型参数8B（80亿），模型大小：约16G

DeepSeek-R1-Distill-Qwen-14B模型参数14B（140亿），模型大小：约30G

DeepSeek-R1-Distill-Qwen-32B模型参数32B（320亿），模型大小：约75G

DeepSeek-R1-Distill-Llama-70B模型参数70B（70亿），模型大小：约140G

这些模型的原始大小如上所示，其中DeepSeek-R1和DeepSeek-R1-Distill-Llama-70B显然不适合在个人电脑上部署，而其余五个模型则完全可以在个人电脑上进行部署。模型运行框架的选择

目前市面上有许多开源模型框架可供选择，但大多数框架主要面向企业级部署，通常通过各种模型加速技术提升性能。

DeepSeek-R1官方推荐的几款框架包括：vLLM、SGLang、TensorRT-LLM等。

 

Ollama是一个开源框架，专为简化在本地机器上部署和运行大型语言模型（LLM）而设计。

特点如下：

易于使用：提供简洁的命令行界面和类似OpenAI的API，便于用户轻松管理和运行大型语言模型。

跨平台支持：支持MacOS、Linux和Windows（预览版）系统，并提供Docker镜像，方便在不同环境下部署。

模型管理：支持多种大型语言模型，如Llama、Mistral等，用户可从模型仓库下载或自行导入模型。

资源高效：优化资源占用，支持GPU加速，提升模型运行效率。

可扩展性：支持同时加载多个模型和处理多个请求，可与Web界面结合使用，方便构建应用程序。

Ollama的另一个显著优势是，它原生支持DeepSeek-R1的所有模型。同时，Ollama通过量化技术和剪枝技术对DeepSeek-R1的模型进行了优化，显著减小了模型的体积，从而更加适合个人部署使用。

  

Ollama下载和安装：

https://ollama.com/download/windows

DeepSeek-R1模型选择：

https://ollama.com/library/deepseek-r1:8b

 

2.安装结果

如下图：

 

 

3.测试验证

代码测试

 

 

诗词测试：

 

其他參考：

DeepSeek-R1个人和企业本地快速部署手册：https://mp.weixin.qq.com/s/T01TfZsUQnu0S7_2Vc_gWQ

手把手教你部署 DeepSeek 本地模型：https://www.cnblogs.com/jyzhao/p/18700202/shou-ba-shou-jiao-ni-bu-shu-deepseek-ben-de-mo-xin