本地部署DeepSeek R1
本地部署DeepSeek R1
写在最前面,感谢b站up主NathMath 分享的视频教程:
DeepSeek R1 推理模型 完全本地部署 保姆级教程 断网运行 无惧隐私威胁 大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署
本文章也是根据教程实操总结得出,如根据本文章无法部署成功,建议观看up主的视频教程,超级详细!!!
1. 背景及硬件环境
DeepSeek最近特别火爆,之前使用的都是在线模型,b站有up主分享了视频教程,于是跟着视频部署了自己的本地DeepSeek。同时总结图文,记录部署过程。
我的硬件环境:
处理器:AMD Ryzen 5 7500F 6-Core Processor
显卡:AMD RX 6750 GRE 10GB (非N卡,无cuda加速)
RAM: 16G*2
2. 部署过程
2.1 安转 LM studio
- 进入LM studio官网,下载安装包。
官网链接:https://lmstudio.ai/
- 安装,安装存储路径自己平时放软件的路径就行,无其他操作。安装完成后界面如下。
2.2 配置网络防火墙
-
找到防火墙配置位置。如下图。
-
配置入站规则,如图配置后选择下一页。
-
选择程序路径,如下图。选择好后点击下一页。
-
配置“操作”,选择阻止连接,同时在配置“配置文件”使用默认配置全部网络环境都使用该规则。
-
配置规则名称
-
相同操作配置elevate程序(该程序用于提升权限)的入站规则,如下图。
-
相同操作配置lms程序(该程序用于提升权限)的入站规则,如下图。
-
同样的操作,在出站规则进行创建。
-
验证防火墙是否设置成功。LM stuido界面检索模型时提示信息获取失败。
2.3 下载模型
方法一:在LM studio下载模型(大部分模型需要用梯子才可以下载,而且速度很慢,不推荐)
方法二:在huggingface下载,国外网站,直接访问要用梯子。可以使用镜像网站。
国内镜像地址:HF-Mirror
-
检索:DEEPSEEK R1 32B GGUF
-
选择对应的库,选择自己要的模型版本进行下载。
-
-
下载速度过慢可借助迅雷p2p下载,极快。
在迅雷中粘贴链接进行下载。
2.4 导入模型、调参
-
使LM studio能够找到模型
层级数量必须满足下图,否则无法显示模型
-
选择模型
-
调整参数
然后就可以开始提问了。
3. 最终效果
32B模型跑起来很慢,只有 2 tok/sec左右,适合细致困难问题
1.5B模型速度快,有40+tok/sec,但难题分析能力不如32B
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)