本地部署DeepSeek R1

本地部署DeepSeek R1

写在最前面,感谢b站up主NathMath 分享的视频教程:
DeepSeek R1 推理模型 完全本地部署 保姆级教程 断网运行 无惧隐私威胁 大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署
本文章也是根据教程实操总结得出,如根据本文章无法部署成功,建议观看up主的视频教程,超级详细!!!

1. 背景及硬件环境

DeepSeek最近特别火爆,之前使用的都是在线模型,b站有up主分享了视频教程,于是跟着视频部署了自己的本地DeepSeek。同时总结图文,记录部署过程。
我的硬件环境:
处理器:AMD Ryzen 5 7500F 6-Core Processor
显卡:AMD RX 6750 GRE 10GB (非N卡,无cuda加速)
RAM: 16G*2

2. 部署过程

2.1 安转 LM studio

  1. 进入LM studio官网,下载安装包。
    官网链接:https://lmstudio.ai/
    image-20250130213807510
  2. 安装,安装存储路径自己平时放软件的路径就行,无其他操作。安装完成后界面如下。
    image-20250130213959662

2.2 配置网络防火墙

  1. 找到防火墙配置位置。如下图。
    image-20250130214557706

  2. 配置入站规则,如图配置后选择下一页。
    image-20250130214901871

  3. 选择程序路径,如下图。选择好后点击下一页。
    image-20250130215559623

  4. 配置“操作”,选择阻止连接,同时在配置“配置文件”使用默认配置全部网络环境都使用该规则。

    image-20250130215907702
    image-20250130215948497

  5. 配置规则名称
    image-20250130220225812

  6. 相同操作配置elevate程序(该程序用于提升权限)的入站规则,如下图。
    image-20250130220526585

  7. 相同操作配置lms程序(该程序用于提升权限)的入站规则,如下图。
    image-20250130220923331

  8. 同样的操作,在出站规则进行创建。
    image-20250131021100279

  9. 验证防火墙是否设置成功。LM stuido界面检索模型时提示信息获取失败。
    image-20250130221821570

2.3 下载模型

方法一:在LM studio下载模型(大部分模型需要用梯子才可以下载,而且速度很慢,不推荐)

方法二:在huggingface下载,国外网站,直接访问要用梯子。可以使用镜像网站。
国内镜像地址:HF-Mirror

  1. 检索:DEEPSEEK R1 32B GGUF
    image-20250130230613187

  2. 选择对应的库,选择自己要的模型版本进行下载。

  3. image-20250130231249158
    image-20250130231550886

  4. 下载速度过慢可借助迅雷p2p下载,极快。

    image-20250130232355986
    在迅雷中粘贴链接进行下载。

    image-20250130232841388

2.4 导入模型、调参

  1. 使LM studio能够找到模型

    image-20250131014445150
    层级数量必须满足下图否则无法显示模型

image-20250131014520606

  1. 选择模型
    image-20250131014916032

  2. 调整参数
    image-20250131015614383

    image-20250131015723414
    然后就可以开始提问了。

3. 最终效果

32B模型跑起来很慢,只有 2 tok/sec左右,适合细致困难问题

image-20250131013438886

image-20250131013340593
1.5B模型速度快,有40+tok/sec,但难题分析能力不如32B

image-20250131014028466

posted @   杨阳的博客  阅读(417)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
点击右上角即可分享
微信分享提示