记录---DeepSeek私有化本地部署图文(Win+Mac)
🧑💻 写在开头
点赞 + 收藏 === 学会🤣🤣🤣
一、DeepSeek私有化本地部署【Windows】
1、安装Ollama
2、配置环境变量
3、下载模型
4、使用示例
a、直接访问
b、chatbox网页访问
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
二、DeepSeek本地部署【Mac】
1、安装Ollama
2、配置环境变量
1 2 | launchctl setenv OLLAMA_HOST "0.0.0.0" launchctl setenv OLLAMA_ORIGINS "*" |
还是不成功的请访问chatbox的帮助
直达链接:
如何将 Chatbox 连接到远程 Ollama 服务:逐步指南 - Chatbox 帮助中心:指南与常见问题
3、下载模型
4、使用示例
总的来看,一般电脑比较适合部署14b版本,也算能用,毕竟是蒸馏版本,参数量在这放着呢,虽然是蒸馏版本,但也基本都保留了核心的推理能力。
如果想跑更高版本的,硬件配置很多人吃不消的,个人的建议14b玩玩就行了。
专业可靠的还得是官方的满血版本,硬件配置要求太高了。
有台式机可以搞到128G运存的,可以尝试下32b/70b的版本的。
5、删除已下载的模型
1 2 3 | 1.进入 cmd 2.查看已经部署的模型,输入:ollama list 3. 删除指定的模型: ollama rm deepseek -r1:70b |
本文转载于:https://blog.csdn.net/libusi001/article/details/145431054
如果对您有所帮助,欢迎您点个关注,我会定时更新技术文档,大家一起讨论学习,一起进步。
分类:
vue知识分享
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 本地部署 DeepSeek:小白也能轻松搞定!
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)
· 我们是如何解决abp身上的几个痛点
· 如何基于DeepSeek开展AI项目
2023-02-06 记录--使用Lunchbox 在 vue3 中创建一个 3D 地球