搭建本地OpenAI

安装Ollama

下载地址：https://ollama.com
访问地址：http://localhost:11434
看到：Ollama is running 则正常启动
启动服务：ollama serve

安装deepseek模型

ollama pull deepseek-r1:8b

Ollama通过GGUF安装(以下用千问的蒸馏模型举例)

社区地址：https://modelscope.cn/search?page=1&search=DeepSeek-R1-Distill-Qwen-1.5B-GGUF&type=model
安装下载指令：pip install modelscope
下载模型指令：modelscope download --model bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF

安装GGUF模型

ollama create my_custom_model -f your_model.gguf
my_custom_model 代表模型名称
your_model.gguf 代表已下载的模型名称
以下以DeepSeek-R1-Distill-Qwen-1.5B-GGUF为例
ollama create DeepSeek-R1-Distill-Qwen-1.5B -f DeepSeek-R1-Distill-Qwen-1.5B-GGUF

创建模型文件

Modelfile 无后缀文件 添加内容如下：

• 指定 GGUF 模型文件路径（支持绝对或相对路径）
  FROM D:\soft\ollama\models\DeepSeek-R1-Distill-Qwen-1.5B-GGUF\DeepSeek-R1-Distill-Qwen-1.5B-f16.gguf
• 常用参数配置（根据模型文档调整）
• 上下文长度
  PARAMETER num_ctx 4096
• 生成随机性（0-1，越高越随机）
  PARAMETER temperature 0.7
• 启用 GPU 加速时分配的 GPU 层数（需硬件支持）
• PARAMETER num_gpu 20

使用Ollama创建模型
ollama create DeepSeek-R1-Distill-Qwen-1.5B-F32(模型名称) -f Modelfile
启动命令：ollama run DeepSeek-R1-Distill-Qwen-1.5B-f32

安装模型交互：ollama run DeepSeek-R1-Distill-Qwen-1.5B
指定模型参数：在运行模型时，你可以通过命令行参数来调整模型的行为，例如控制生成文本的长度、温度等。以下是一个示例：

ollama run my_custom_model --num-predict 200 --temperature 0.7

其中，--num-predict 参数用于指定生成文本的最大长度，--temperature 参数用于控制生成文本的随机性，值越大生成的文本越随机。

启动deepseek模型

ollama run DeepSeek-R1-Distill-Qwen-1.5B

安装OpenWebUI

OpenWebUI基于Python 我本地使用Windows11已经安装过Python3.12忽略安装Python安装过程，如需安装自行下载exe安装包即可
pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple
启动方法：
切换到pip安装的open-webui目录：
D:\soft\Python\Python312\Lib\site-packages\open_webui
执行启动命令：open-webui serve
访问地址:http://localhost:3000
注意Windwos需要安装C++程序
https://mirror.tuna.tsinghua.edu.cn/help/anaconda/