Ollama 可以在 Windows 上运行了

Ollama 可以在 Windows 上运行了
0. 引言
1. 下载 Ollma 安装文件
2. 安装 Ollama
3. 使用 Ollama
4. (可选)环境变量
5. (可选)修改默认模型
6. (可选)ollama ls 不能正确显示 OLLAMA_MODELS 设置路径的模型
0. 引言
Ollama 终于可以在 Windows 上运行了，一直以来都是 “Coming soon”。

运行 Mixtral 8*7B 试了一下，推理速度和推理效果都很不错。

而且模型的下载速度也很快，我用的联通1000M网络，大概90M~150M/s波动。

 

1. 下载 Ollma 安装文件
访问 https://ollama.com/download，选择 Windows，单击 “Download for Windows (Preview)” 进行下载。

 

2. 安装 Ollama
双击下载的 “OllamaSetup.exe”，直接安装就可以了。

3. 使用 Ollama
访问 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。

下面以允许 qwen 为例，我们要运行 7b 的模型，

 

拷贝上面红框的命令并运行，

ollama run qwen:7b
1
问一个问题试试，

 

4. (可选)环境变量
Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过设置 OLLAMA_MODELS 进行修改。

OLLAMA_MODELS：F:\OllamaCache
还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。

OLLAMA_HOST：0.0.0.0
5. (可选)修改默认模型
Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。

例如，

ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4
1
2
refer: https://github.com/ollama/ollama/blob/main/docs/openai.md

6. (可选)ollama ls 不能正确显示 OLLAMA_MODELS 设置路径的模型
在系统环境变量里设置了 OLLAMA_MODELS，但是执行 ollama ls 不能正确显示 OLLAMA_MODELS 设置的路径下面的模型。

经过各种尝试，发现是 wsl-ubuntu 里面安装的 ollama 影响了 windows 的 ollama。

解决方法，登录到 wsl-ubuntu，执行，

systemctl stop ollama
systemctl disable ollama
1
2
完结！
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/engchina/article/details/136125933