docker本地化部署deepseek r1

安装系统mac（Apple M1 Pro）

硬件配置建议

模型参数	最低RAM	显存需求	推荐使用场景
1.5B	8GB	集成显卡可运行	个人设备/基础测试‌13
7B	16GB	需独立GPU支持	常规业务场景‌46
14B/32B	32GB	多GPU并行计算	企业级复杂任务‌13

前提：需要安装Docker Desktop，官方https://www.docker.com/products/docker-desktop/

Windows:

Get Docker Desktop for Windows

Ollama+deepseek r1 1.5b+open-webui

MAC:

Get Docker Desktop for Mac

1.安装ollama

1.1CPU版本

主机挂载目录/Users/xx/Documents/ds/ollama可自行更改

docker run -d -v  /Users/xx/Documents/ds/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

访问地址http://localhost:11434/

1.2NVIDIA版本

确认计算机的 NVIDIA 显卡支持 CUDA，且具备足够的计算能力来运行 ollama 及相关模型。一般来说，NVIDIA GTX 2080 或更高级别的显卡是比较合适的。

前提需要安装docker使用NVIDIA的工具包，container-toolkit，在windows里安装container-toolkit又需要WSL2,WSL2在Docker Desktop已经集成安装

1.2.1安装container-toolkit

1.2.2使用Docker安装ollama

docker run -d --gpus=all -v  /Users/xx/Documents/ds/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 

2.安装deepseek r1 1.5b

下载模型

可将deepseek-r1:1.5b改为其他大模型

docker exec -it ollama ollama pull deepseek-r1:1.5b

运行模型

docker exec -it ollama ollama run deepseek-r1:1.5b

3.安装open-webui

主机挂载目录/Users/xx/Documents/ds/devopen-webui可自行更改

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v /Users/xx/Documents/ds/devopen-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问地址http://localhost:3000/

open-webui会自动关联已启动的大模型deepseek r1 1.5b，若未自动关联，也可通过管理员面板-设置-外部链接中自行添加地址