使用Docker和Ollama快速搭建AI本地大模型

1.运行Ollama容器(CPU版本):

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.运行模型:

docker exec -it ollama ollama run llama3:8b

3.安装Open WebUI:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

posted @ 2024-12-18 10:36  hank-li  阅读(45)  评论(0编辑  收藏  举报