本地私有化部署DeepSeek,打造自己的大模型知识库

1简介

DeepSeek R1是基于MIT协议开源的大模型,意味着个人和企业可以免费使用,包括商业使用。

众所周知,我们可以在chat.deepseek.com上可以直接免费使用DeepSeek R1的聊天服务。但如果你自己开发的应用需要使用到其api的话,仍然是需要收费的,另外,如果你有机密信息并不想要上传到互联网,这时私有化部署是一个很好的选择。

2安装私有化部署工具Ollama

比较使用广泛的私有化部署工具:

  • Ollama, https://ollama.com/,

  • llamap.cpp, https://github.com/ggerganov/llama.cpp

Ollama提供了更多开箱即用的功能,也与其他前端访问工具像OpenWebUI, ChatBox都提供了直接整合,推荐普通用户使用。如果需要在资源受限的系统上,比如草莓派上安装,推荐使用llama.cpp。

2.1下载

从https://ollama.com/上下载安装程序

2.2安装

可以双击安装文件直接安装,为了避免占用也可以用命令的方式指定目录安装,安装命令:OllamaSetup.exe /DIR=d:\Ollama,如下图:

2.3配置环境变量

  配置下载模型保存路径,在电脑的环境变量中增加:OLLAMA_MODELS,设置保存模型路径:D:\Ollama\models。如下图:

3下载DeepSeek模型

3.1查看

直接在浏览器中打开:https://ollama.com/library/deepseek-r1。从下图中可以看到,有1.5b, 7b, 8b,14b, 32b, 70b,671b等不同参数的模型。

3.2下载

建议使用“Windows PowerShell”终端,使用“命令提示符”运行Ollama命令可能会出现参数错误的提示。

DeepSeek-r1模型:1.5b约占用空间1.1GB,7b模型是4.7GB,8b模型是4.9GB,14b模型是9.0GB,32b是20GB,70b是43GB,671b是404GB,根据自己磁盘空间进行选择,原则上数据越大,回答的问题就越全面。

我们选择下载14b模型,在Windows PowerShell终端运行命令:ollama run deepseek-r1:14b。如下图:

期间下载速度可能会变慢,这时候在终端窗口Ctrl+C,停止后再重新执行命令可以恢复下载速度。

安装完毕后可以像其提问,就算安装成功了。

4安装界面聊天工具

 安装 ollama之后,可以上面一样在命令行里面直接和DeepSeek聊天。但显然命令行并不友好。可以安装些界面软件进行沟通,如OpenWebUI、AnythingLLM。可以方便地进行交互和数据投喂。

4.1安装AnythingLLM

下载地址:Download AnythingLLM for Desktop

安装后配置选择本地模型

一直下一步,创建工作区,最后进入对话画面。

 

posted @   chenxizhaolu  阅读(582)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 本地部署 DeepSeek:小白也能轻松搞定!
· 如何给本地部署的DeepSeek投喂数据,让他更懂你
· 从 Windows Forms 到微服务的经验教训
· 李飞飞的50美金比肩DeepSeek把CEO忽悠瘸了,倒霉的却是程序员
· 超详细,DeepSeek 接入PyCharm实现AI编程!(支持本地部署DeepSeek及官方Dee
点击右上角即可分享
微信分享提示