deepseek本地部署

目录

• deepseek本地部署
  • 下载并部署大模型（这里使用Ollama）
  • 可视化客户端
  • 与VSCode集成实现AI代码辅助开发

---

deepseek本地部署

下载并部署大模型（这里使用Ollama）

1. 下载并安装Ollama
   • 打开浏览器搜索ollama，访问官网。
   • 点击右上角Download按钮，选择对应系统版本的安装包下载。
   • 双击安装包，按提示完成安装。
   • 验证安装：在终端输入ollama -v，出现版本号即表示安装成功。

• ollama的命令
  • 启动 Ollama 服务：ollama serve（默认端口 11434 ）。
  • 下载模型：ollama pull <模型名> ，比如想下载 Deepseek，就输入ollama pull Deepseek 。
  • 运行模型：ollama run <模型名> ，如果模型未下载，运行这个命令后会先下载该模型，下载完成之后进入对话模式。
  • 列出所有已下载模型：ollama list
  • 查看模型信息：ollama show <模型名>
  • 删除模型：ollama rm <模型名>
  • 查看所有命令：ollama help

关于模型的启动，在模型下载好之后，需要运行模型的时候，其实只需要执行一下ollama这个软件保证服务启动就行了（看任务栏右下角），不太会执行ollama run xxx或者ollama serve（当然这个软件默认开机自启动，如果不需要的话可以关掉）。

2. 指定模型下载位置

   • 默认下载到C盘，这里通过创建环境变量的方式指定模型的下载位置。
   • 创建环境变量OLLAMA_MODELS，值设为E:\OLLAMA_MODELS（可根据需要更改路径）。

     OLLAMA_MODELS
     E:\OLLAMA_MODELS
     

3. 下载并启动DeepSeek模型

方式1：去ollama官网找需要的模型，然后复制安装命令安装

• 访问ollama官网models页面，找到deepseek-r1模型。
• 根据硬件配置选择合适的模型大小。
• 复制对应的安装命令并在终端执行。
  

方式2：直接修改命令后面的参数大小就行

• 在终端输入ollama run deepseek-r1下载并启动模型
• 默认下载7B参数规格，如需其他参数规格
• 可在命令后添加:参数量，如ollama run deepseek-r1:1.5b。

4. 开启AI聊天
   • 终端出现>>>符号即可开始对话。

可视化客户端

Cherry Studio 桌面客户端：免费开源项目，功能丰富，支持多模型。

点击设置，厂商选择ollama，添加下载好的模型

切换模型

选择自己下载好的大模型之后就可以与大模型对话了。

与VSCode集成实现AI代码辅助开发

1. vscode下载 cline插件

2. 然后点击对话框右上角的小齿轮设置deepseek的api参数

3. 然后就可以实现ai代码辅助开发