ollama——快速上手Llama3部署使用

ollama——快速上手Llama3

1. ollama安装

#Linux
curl -fsSL https://ollama.com/install.sh | sh

#vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
#配置远程访问
Environment="OLLAMA_HOST=0.0.0.0"
#配置跨域请求
Environment="OLLAMA_ORIGINS=*"
#配置OLLAMA的模型存放路径，防止内存不足，一般的默认路径是/usr/share/ollama/.ollama/models/
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"

[Install]
WantedBy=default.target

##修改完后执行
sudo systemctl daemon-reload
sudo systemctl enable ollama

2. ollama的使用

#使用感觉和docker类似，输出ollama就会有提示
ollama serve	#启动ollama
ollama create	#从模型文件创建模型
ollama show		#显示模型信息
ollama run		#运行模型
ollama pull		#从注册表中拉取模型
ollama push		#将模型推送到注册表
ollama list		#列出模型
ollama cp		#复制模型
ollama rm		#删除模型
ollama help		#获取有关任何命令的帮助信息

3. ollama的library

类似Docker的Docker Hub,在这里可以查找可以选择的大模型。

4. Llama3使用示例

• 这里以llama3-8b为例

#下载模型
ollama pull llama3
#下载成功查看模型
ollama list
#运行模型
ollama run llama3

• general api调用

  #input
  {
      "model": "llama3",
      "prompt": "Describe the scene of sunny weather after raining",
      "stream": false
  }
  #output
  

• chat api调用

  {
      "model": "llama3",
      "messages": [
          {
              "role": "system",
              "content": "假设你是一名资深的翻译家，请将接下来的内容翻译成中文"
          },
          {
              "role": "user",
              "content": "What a lovely scenario!\n\nAs you step out into the bright, open air."
          }
      ],
      "stream": false
  }
  

5. 参考

https://ollama.com/
https://github.com/ollama/ollama