Ollama 安装、运行大模型（CPU 实操版）

合集 - LLM(5)

1.ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）2024-10-012.llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）2024-10-01

3.Ollama 安装、运行大模型（CPU 实操版）2024-10-01

4.迁移 ollama 模型文件到新机器（支持离线运行）2024-10-015.Ollama WebUI 安装使用（pip 版）2024-10-01

收起

1. 操作步骤

1.1 安装

# 通过 homebrew 安装
brew install ollama

1.2 验证（可跳过）

# 输出命令使用提示则安装成功
ollama --help

1.3 启动服务端

# 启动 ollama 服务（默认在 11434 端口，模型文件在 ~/.ollama）
ollama serve

1.4 跑通第一个模型

# 新开一个终端窗口，执行如下命令（将下载并运行 Qwen2 的 0.5B 的 Chat 模型）
ollama run qwen2.5:0.5b-instruct

2. 参考资料

2.1 Ollama

GitHub

https://github.com/ollama/ollama

3. 资源

3.1 Ollama

library（模型工厂）

https://ollama.com/library