在Ubuntu22.04上用Ollama本地运行Deepseek R1
Ollama为本地运行提供了简单的工具
安装 Ollama
下载页: https://ollama.com/download
通过命令行安装
curl -fsSL https://ollama.com/install.sh | sh
运行Deepseek R1
https://ollama.com/library/deepseek-r1
选择需要运行的模型大小, 直接运行其命令行即可, 对于硬件资源有限的笔记本电脑, 可以运行1.5b模型
ollama run deepseek-r1:1.5b
需要下载1GB大小的数据, 基于CPU运行的速度还可以.
实际测试
对比了一下1.5b和8b两个模型, 都是在CPU下跑的
- 1.5b因为数据尺寸小很多知识被精简了, 我问 switch 下的 hollow knight 游戏, 8b可以回答, 1.5b不行, 但是在一些更细节的问题上, 例如小米路由器R6069的硬件参数, 8b就开始胡编了.
- 运行时对内存要求不高, 运行 8b 模型时, 系统内存占用没有超过10G
- 运行对CPU要求较高, 运行 8b模型时 24核的E5 2673v3基本上跑满, 比在笔记本电脑上运行1.5b速度更快, 瓶颈在CPU上.
分类:
System/Network
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
2022-02-06 STC8H8K64U 的 USB 功能测试(续)