Ollama安装DeepSeek
安装 Ollama
Ollama 是一款本地运行大模型的工具,用来部署和运行 DeepSeek,从 https://ollama.com/download 下载 Ollama。
安装 DeepSeek
参考 Ollama 官网(https://ollama.com/library/deepseek-r1)文档安装 DeepSeek 。
安装1.5b版本:
ollama run deepseek-r1:1.5b
安装7b版本:
ollama run deepseek-r1:7b
安装8b版本:
ollama run deepseek-r1:8b
安装14b版本:
ollama run deepseek-r1:14b
安装32b版本:
ollama run deepseek-r1:32b
安装70b版本:
ollama run deepseek-r1:70b
安装671b版本(满血版本):
ollama run deepseek-r1:671b
如需卸载,使用“ollama rm”,比如卸载70b版本:
ollama rm deepseek-r1:70b
Cherry Studio
Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端,可以用来搭建知识库。
Chatbox AI
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
AnythingLLM
AnythingLLM 是一个开源的全栈 AI 聊天系统,允许用户构建自己的私人 ChatGPT。它支持本地和商用的大语言模型,能够将任何文档转化为大语言模型可理解的上下文,实现智能聊天和文档管理,适合快速搭建私有知识库和智能问答系统。
ROCm
ROCm 是 AMD 推出的一个开源 GPU 计算平台,旨在提供高性能的 GPU 计算解决方案,类似于 NVIDIA 的 CUDA 。如果是 AMD 显卡,则需要安装,要使用 ROCm 需先安装 HIP SDK 。HIP SDK(Heterogeneous-Compute Interface for Portability Software Development Kit)是 AMD 推出的一款软件开发工具包,旨在为专业和消费级 GPU 提供 CUDA 支持。HIP SDK 是 ROCm 生态系统的一部分,允许开发者在 AMD 或 NVIDIA GPU 上运行 CUDA 应用,而无需对代码进行大量修改。它通过将 CUDA 代码转换为简化的 C++ 代码,简化了跨平台移植的过程,支持多种编程语言和工具,主要用于加速科学计算、人工智能和机器学习等领域。
DeepSeek 部署硬件要求
模型版本 | CPU | 内存 | 显卡 | 存储 |
---|---|---|---|---|
1.5b | 4核 | 8GB | GTX1650,可无显卡 | 10GB |
7b | 8核i7 | 16GB | RTX3070或4060 | 15GB |
8b | 8核 | 16GB | RTX4060 | 15GB |
14b | 12核 | 32G | RTX4090 | 20GB |
32b | 16核 | 64G | RTX3090或单卡A100 40G | 50GB |
70b | 32核 | 128G | 2块A100 80G或4块RTX4090 | 100GB |
671b | 64核 | 576G | 8块A100 | 500GB |
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· NetPad:一个.NET开源、跨平台的C#编辑器
2023-02-14 awk多字符串分割用法示例