ollama 模型离线加载的配置简单说明

ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接
进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量）

下载的模型数据

• 模型数据结构

• 通过直接复制加载的模型

参考服务配置

• systemd 服务配置

注意对于OLLAMA_MODELS 定义的文件夹的权限的配置

[Unit]

Description=Ollama Service

After=network-online.target

 

[Service]

ExecStart=/usr/local/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_MODELS=/opt/models"

Environment="PATH=/root/.local/bin:/root/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"

 

[Install]

WantedBy=default.target

参考资料

https://github.com/ollama/ollama/blob/main/docs/import.md
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
https://github.com/ggerganov/llama.cpp/blob/master/README.md#prepare-and-quantize