手动安装ollama（linux）及ollama常用命令

安装

 

要安装 Ollama，请运行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

手动安装

 

注意

如果要从以前的版本升级，则应使用 first 删除旧库。sudo rm -rf /usr/lib/ollama

下载并解压缩包：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动 Ollama：

ollama serve

在另一个终端中，验证 Ollama 是否正在运行：

ollama -v

AMD GPU 安装

 

如果您有 AMD GPU，还要下载并解压缩其他 ROCm 软件包：

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

ARM64 安装

 

下载并解压缩特定于 ARM64 的包：

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

 

将 Ollama 添加为启动服务（推荐）

为 Ollama 创建用户和组：

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建服务文件:/etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

然后启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama

 

安装 CUDA 驱动程序（可选）

下载并安装CUDA 的 CUDA 中。

通过运行以下命令验证驱动程序是否已安装，该命令应打印有关 GPU 的详细信息：

nvidia-smi

 

安装 AMD ROCm 驱动程序（可选）

下载并安装ROCm v6 的。

启动 Ollama

启动 Ollama 并验证它是否正在运行：

sudo systemctl start ollama
sudo systemctl status ollama

 

注意

虽然 AMD 已将驱动程序贡献到官方 linux 的上游 kernel 源，版本较旧，可能不支持所有 ROCm 功能。我们 建议您安装 https://www.amd.com/en/support/linux-drivers 提供的最新驱动程序，以便为您的 Radeon 提供最佳支持 GPU 的 GPU 中。amdgpu

定制

要自定义 Ollama 的安装，您可以通过运行以下命令来编辑 systemd 服务文件或环境变量：

sudo systemctl edit ollama

或者，在 中手动创建覆盖文件 ：/etc/systemd/system/ollama.service.d/override.conf

[Service]
Environment="OLLAMA_DEBUG=1"

更新

 

通过再次运行安装脚本来更新 Ollama：

curl -fsSL https://ollama.com/install.sh | sh

 

或者通过重新下载 Ollama：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

安装特定版本

 

在安装脚本中使用 environment variable 来安装特定版本的 Ollama，包括预发行版。您可以在 releases 页面中找到版本号。OLLAMA_VERSION

例如：

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

 

要查看作为启动服务运行的 Ollama 的日志，请运行：

journalctl -e -u ollama

 

卸载

删除 ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

 

从 bin 目录中删除 ollama 二进制文件：/usr/local /bin/ usr/bin /bin


sudo rm $(which ollama)

 

删除下载的模型以及 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

 

删除已安装的库：

sudo rm -rf /usr/local/lib/ollama

 

Ollama的常用使用命令包括启动服务、创建模型、显示模型信息、列出模型、运行模型、列出正在运行的模型、删除模型、查看版本等‌。以下是具体的命令及其功能：

1. ‌启动Ollama服务‌

   • 命令：ollama serve
   • 功能：启动Ollama服务器，以便运行模型和处理请求‌。

2. ‌创建模型‌

   • 命令：ollama create /path/to/Modelfile
   • 功能：使用包含模型信息的Modelfile来创建一个新模型‌。

3. ‌显示模型信息‌

   • 命令：ollama show model_name
   • 功能：查看特定模型的详细信息，例如模型名称、版本等‌
     

4. ‌列出所有模型‌

   • 命令：ollama list 或 ollama ls
   • 功能：列出本地所有可用的模型，可以在这里查找模型名称‌。

5. ‌运行模型‌

   • 命令：ollama run model_name
   • 功能：运行一个已安装的模型，执行某些任务‌。

6. ‌列出正在运行的模型‌

   • 命令：ollama ps
   • 功能：显示当前正在运行的模型列表‌。

7. ‌删除模型‌

   • 命令：ollama rm model_name
   • 功能：删除一个已安装的模型‌。

8. ‌查看版本‌

   • 命令：ollama -v 或 ollama --version
   • 功能：显示当前Ollama工具的版本信息‌。

以下是常用的设置：
OLLAMA_HOST=0.0.0.0:11434 解决外网访问问题也解决无法api访问的问题及修改默认端口11434端口
OLLAMA_MODELS=x:\ollama_models 解决windows模型默认在C 盘的问题
OLLAMA_MODELS=/opt/app/middles/ollama/models 指定linux模型存储位置
OLLAMA_KEEP_ALIVE=1h 设置模型加载到内存中保持1小时(模型默认在内存中保留 5 分钟)
OLLAMA_NUM_PARALLEL=x 设置x个用户并发请求
OLLAMA_MAX_LOADED_MODELS=x 设置同时加载多个模型