Ollama

Ollama

简介

一个简明易用的本地大模型运行框架，Ollama官网：https://ollama.com/

ollama命令

ollama有类似docker的命令。下面是一些模型(large language models)的操作命令:

• ollama list：显示模型列表
• ollama show：显示模型的信息
• ollama pull：拉取模型
• ollama push：推送模型
• ollama cp：拷贝一个模型
• ollama rm：删除一个模型
• ollama run：运行一个模型

ollama安装

docker run -d  -p 11434:11434 --name ollama ollama/ollama 

web-ui安装

docker run -p 3000:3000 -e DEFAULT_MODEL=llama3:latest -e OLLAMA_HOST=http://IP地址:11434 ghcr.io/ivanfioravanti/chatbot-ollama:main

如果机器允许可以部署下面open-webui，具有最接近 ChatGPT 的界面和最丰富的功能特性。

https://github.com/open-webui/open-webui

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=10.74.25.168:11434 --name open-webui --restart always [ghcr.io/open-webui/open-webui:main](http://ghcr.io/open-webui/open-webui:main)

rest-api使用

• Generate a response

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
}'

• Chat with a model

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'