Ollama
Ollama
简介
一个简明易用的本地大模型运行框架,Ollama官网:https://ollama.com/
ollama命令
ollama有类似docker的命令。下面是一些模型(large language models)的操作命令:
- ollama list:显示模型列表
- ollama show:显示模型的信息
- ollama pull:拉取模型
- ollama push:推送模型
- ollama cp:拷贝一个模型
- ollama rm:删除一个模型
- ollama run:运行一个模型
ollama安装
docker run -d -p 11434:11434 --name ollama ollama/ollama
web-ui安装
docker run -p 3000:3000 -e DEFAULT_MODEL=llama3:latest -e OLLAMA_HOST=http://IP地址:11434 ghcr.io/ivanfioravanti/chatbot-ollama:main
如果机器允许可以部署下面open-webui,具有最接近 ChatGPT 的界面和最丰富的功能特性。
https://github.com/open-webui/open-webui
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=10.74.25.168:11434 --name open-webui --restart always [ghcr.io/open-webui/open-webui:main](http://ghcr.io/open-webui/open-webui:main)
rest-api使用
- Generate a response
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"Why is the sky blue?"
}'
- Chat with a model
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体