Ollama+RagFlow构建本地私有化 大模型

安装Ollama

下载地址 Ollama 点击跳转链接

千问模型搜索 Ollama 点击跳转链接

下载Qwen2.5和中文嵌入层

ollama pull qwen2.5
ollama pull shaw/dmeta-embedding-zh

下载安装RagFlow

参考ragflow官方安装文档 点击跳转链接

• 硬件：CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB;

 docker compose -f docker-compose.yml up -d
 docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功：

    ____   ___    ______ ______ __               
    / __ \ /   |  / ____// ____// /____  _      __
   / /_/ // /| | / / __ / /_   / // __ \| | /| / /
  / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ / 
 /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/  

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

进入IP:80端口 先注册，再登录

重点两步图片展示

#  启动服务
ollama serve
# 查看已经下载好了的镜像
ollama list
#PS C:\Users\lehoso> ollama list
NAME                              ID              SIZE      MODIFIED
qwen2.5:latest                    845dbda0ea48    4.7 GB    4 days ago
shaw/dmeta-embedding-zh:latest    55960d8a3a42    408 MB    9 days ago
qwen2.5:7b                        845dbda0ea48    4.7 GB    9 days ago

具体名称以模型名字为准。比如模型名称为qwen2.5:7b

添加LLM模型

找到模型供应商-选择Ollama-添加模型

添加Chat模型

RagFlow如果部署为docker，需要映射docker外面的地址。否则为IP：端口（默认端口为11434。Ollama Open API）

继续添加模型

添加embedding模型

展示模型

添加知识库

设置嵌入模型 ，设置解析文档方法

也可选择指定的解析方法

增加助手