岚天逸见

Ollama安装DeepSeek

安装 Ollama

Ollama 是一款本地运行大模型的工具,用来部署和运行 DeepSeek,从 https://ollama.com/download 下载 Ollama。

安装 DeepSeek

参考 Ollama 官网(https://ollama.com/library/deepseek-r1)文档安装 DeepSeek 。

安装1.5b版本:

ollama run deepseek-r1:1.5b

安装7b版本:

ollama run deepseek-r1:7b

安装8b版本:

ollama run deepseek-r1:8b

安装14b版本:

ollama run deepseek-r1:14b

安装32b版本:

ollama run deepseek-r1:32b

安装70b版本:

ollama run deepseek-r1:70b

安装671b版本(满血版本):

ollama run deepseek-r1:671b

如需卸载,使用“ollama rm”,比如卸载70b版本:

ollama rm deepseek-r1:70b

Cherry Studio

Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端,可以用来搭建知识库。

Chatbox AI

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

AnythingLLM

AnythingLLM 是一个开源的全栈 AI 聊天系统,允许用户构建自己的私人 ChatGPT。它支持本地和商用的大语言模型,能够将任何文档转化为大语言模型可理解的上下文,实现智能聊天和文档管理,适合快速搭建私有知识库和智能问答系统。

ROCm

ROCm 是 AMD 推出的一个开源 GPU 计算平台,旨在提供高性能的 GPU 计算解决方案,类似于 NVIDIA 的 CUDA 。如果是 AMD 显卡,则需要安装,要使用 ROCm 需先安装 HIP SDK 。HIP SDK(Heterogeneous-Compute Interface for Portability Software Development Kit)是 AMD 推出的一款软件开发工具包,旨在为专业和消费级 GPU 提供 CUDA 支持。HIP SDK 是 ROCm 生态系统的一部分,允许开发者在 AMD 或 NVIDIA GPU 上运行 CUDA 应用,而无需对代码进行大量修改。它通过将 CUDA 代码转换为简化的 C++ 代码,简化了跨平台移植的过程,支持多种编程语言和工具,主要用于加速科学计算、人工智能和机器学习等领域。

DeepSeek 部署硬件要求

模型版本 CPU 内存 显卡 存储
1.5b 4核 8GB GTX1650,可无显卡 10GB
7b 8核i7 16GB RTX3070或4060 15GB
8b 8核 16GB RTX4060 15GB
14b 12核 32G RTX4090 20GB
32b 16核 64G RTX3090或单卡A100 40G 50GB
70b 32核 128G 2块A100 80G或4块RTX4090 100GB
671b 64核 576G 8块A100 500GB

posted on   岚天逸见  阅读(362)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· NetPad:一个.NET开源、跨平台的C#编辑器
历史上的今天:
2023-02-14 awk多字符串分割用法示例

导航

统计信息

点击右上角即可分享
微信分享提示