ollama——快速上手Llama3部署使用
ollama——快速上手Llama3
1. ollama安装
#Linux
curl -fsSL https://ollama.com/install.sh | sh
#vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
#配置远程访问
Environment="OLLAMA_HOST=0.0.0.0"
#配置跨域请求
Environment="OLLAMA_ORIGINS=*"
#配置OLLAMA的模型存放路径,防止内存不足,一般的默认路径是/usr/share/ollama/.ollama/models/
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"
[Install]
WantedBy=default.target
##修改完后执行
sudo systemctl daemon-reload
sudo systemctl enable ollama
2. ollama的使用
#使用感觉和docker类似,输出ollama就会有提示
ollama serve #启动ollama
ollama create #从模型文件创建模型
ollama show #显示模型信息
ollama run #运行模型
ollama pull #从注册表中拉取模型
ollama push #将模型推送到注册表
ollama list #列出模型
ollama cp #复制模型
ollama rm #删除模型
ollama help #获取有关任何命令的帮助信息
3. ollama的library
类似Docker的Docker Hub,在这里可以查找可以选择的大模型。
4. Llama3使用示例
- 这里以llama3-8b为例
#下载模型
ollama pull llama3
#下载成功查看模型
ollama list
#运行模型
ollama run llama3
-
general api调用
#input { "model": "llama3", "prompt": "Describe the scene of sunny weather after raining", "stream": false } #output
-
chat api调用
{ "model": "llama3", "messages": [ { "role": "system", "content": "假设你是一名资深的翻译家,请将接下来的内容翻译成中文" }, { "role": "user", "content": "What a lovely scenario!\n\nAs you step out into the bright, open air." } ], "stream": false }
5. 参考
https://ollama.com/
https://github.com/ollama/ollama
脚踏实地,注重基础。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 我与微信审核的“相爱相杀”看个人小程序副业
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
2022-04-26 Rocky Linux 安装显卡NVIDIA驱动