本地私有化部署DeepSeek,打造自己的大模型知识库
1简介
DeepSeek R1是基于MIT协议开源的大模型,意味着个人和企业可以免费使用,包括商业使用。
众所周知,我们可以在chat.deepseek.com上可以直接免费使用DeepSeek R1的聊天服务。但如果你自己开发的应用需要使用到其api的话,仍然是需要收费的,另外,如果你有机密信息并不想要上传到互联网,这时私有化部署是一个很好的选择。
2安装私有化部署工具Ollama
比较使用广泛的私有化部署工具:
-
Ollama, https://ollama.com/,
-
llamap.cpp, https://github.com/ggerganov/llama.cpp
Ollama提供了更多开箱即用的功能,也与其他前端访问工具像OpenWebUI, ChatBox都提供了直接整合,推荐普通用户使用。如果需要在资源受限的系统上,比如草莓派上安装,推荐使用llama.cpp。
2.1下载
从https://ollama.com/上下载安装程序
2.2安装
可以双击安装文件直接安装,为了避免占用也可以用命令的方式指定目录安装,安装命令:OllamaSetup.exe /DIR=d:\Ollama,如下图:
2.3配置环境变量
配置下载模型保存路径,在电脑的环境变量中增加:OLLAMA_MODELS,设置保存模型路径:D:\Ollama\models。如下图:
3下载DeepSeek模型
3.1查看
直接在浏览器中打开:https://ollama.com/library/deepseek-r1。从下图中可以看到,有1.5b, 7b, 8b,14b, 32b, 70b,671b等不同参数的模型。
3.2下载
建议使用“Windows PowerShell”终端,使用“命令提示符”运行Ollama命令可能会出现参数错误的提示。
DeepSeek-r1模型:1.5b约占用空间1.1GB,7b模型是4.7GB,8b模型是4.9GB,14b模型是9.0GB,32b是20GB,70b是43GB,671b是404GB,根据自己磁盘空间进行选择,原则上数据越大,回答的问题就越全面。
我们选择下载14b模型,在Windows PowerShell终端运行命令:ollama run deepseek-r1:14b。如下图:
期间下载速度可能会变慢,这时候在终端窗口Ctrl+C,停止后再重新执行命令可以恢复下载速度。
安装完毕后可以像其提问,就算安装成功了。
4安装界面聊天工具
安装 ollama之后,可以上面一样在命令行里面直接和DeepSeek聊天。但显然命令行并不友好。可以安装些界面软件进行沟通,如OpenWebUI、AnythingLLM。可以方便地进行交互和数据投喂。
4.1安装AnythingLLM
下载地址:Download AnythingLLM for Desktop
安装后配置选择本地模型
一直下一步,创建工作区,最后进入对话画面。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 本地部署 DeepSeek:小白也能轻松搞定!
· 如何给本地部署的DeepSeek投喂数据,让他更懂你
· 从 Windows Forms 到微服务的经验教训
· 李飞飞的50美金比肩DeepSeek把CEO忽悠瘸了,倒霉的却是程序员
· 超详细,DeepSeek 接入PyCharm实现AI编程!(支持本地部署DeepSeek及官方Dee