本地运行大模型 之Ollama完全指南

合集 - AI 大模型(3)

1.本地运行大模型 之Ollama完全指南2024-12-31

2.本地大模型 搭建方式 之LM Studio01-283.各种本地大模型各种参数对应详情表01-31

收起

自我介绍：
ollama 是目前最流行的本地大模型集合管理器，ollama 用于安装各大模型，然后再安装一个UI展示页面，目前比较流行的是 open-webui

技术栈选型：open webui+ollama

安装方式#

1. 本地安装#

1. 官网下载安装包，一键安装即可

2. docker 安装（推荐使用这种方式）#

拉取镜像

docker pull ollama/ollama

启动命令
仅仅使用cpu

docker run -d -v ~\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

使用gpu

docker run -d --gpus=all -v ~\ollama::/root/.ollama -p 11434:11434 --name ollama --restart=always ollama/ollama

目前国内最流行的版本：

语言模型#

阿里通义千问模型

ollama run qwen2.5:7b

质谱轻言 chatglm模型

ollama pull glm4

参考地址：
https://www.53ai.com/news/OpenSourceLLM/2024072585037.html