Ollama

Ollama

简介

一个简明易用的本地大模型运行框架,Ollama官网:https://ollama.com/

ollama命令

ollama有类似docker的命令。下面是一些模型(large language models)的操作命令:

  • ollama list:显示模型列表
  • ollama show:显示模型的信息
  • ollama pull:拉取模型
  • ollama push:推送模型
  • ollama cp:拷贝一个模型
  • ollama rm:删除一个模型
  • ollama run:运行一个模型

ollama安装

docker run -d  -p 11434:11434 --name ollama ollama/ollama 

web-ui安装

docker run -p 3000:3000 -e DEFAULT_MODEL=llama3:latest -e OLLAMA_HOST=http://IP地址:11434 ghcr.io/ivanfioravanti/chatbot-ollama:main

如果机器允许可以部署下面open-webui,具有最接近 ChatGPT 的界面和最丰富的功能特性。

https://github.com/open-webui/open-webui

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=10.74.25.168:11434 --name open-webui --restart always [ghcr.io/open-webui/open-webui:main](http://ghcr.io/open-webui/open-webui:main)

rest-api使用

  • Generate a response
curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
}'

  • Chat with a model
curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

posted @   曹化金  阅读(9048)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
点击右上角即可分享
微信分享提示