Ollama+OneAPI+Fastgpt部署本地免费AI知识库 踩坑

Ollama+OneAPI+Fastgpt部署本地免费AI知识库踩坑

资源网站

https://www.bilibili.com/video/BV1xm421J7dG

https://ollama.com/

https://github.com/ollama/ollama

https://github.com/open-webui/open-webui

https://www.docker.com/products/docker-desktop

docker gpu启动m3e

docker run -d -p 6008:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

docker gpu启动openwebui

docker run -d -p 3007:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

问题与解决

OneAPI ollama connect confuse

http://host.docker.internal:11434

fastgpt NetworkError

docker-compose.yml docker虚拟网络地址

 - OPENAI_BASE_URL=http://172.20.48.1:3001/v1

mongoDB副本集没有启动，需要手动启动

进入容器执行副本集合初始化
# 查看 mongo 容器是否正常运行
docker ps
# 进入容器
docker exec -it mongo bash

# 连接数据库（这里要填Mongo的用户名和密码）
mongo -u myusername -p mypassword --authenticationDatabase admin

# 初始化副本集。如果需要外网访问，mongo:27017 。如果需要外网访问，需要增加Mongo连接参数：directConnection=true
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()

fastgpt Load init config error SyntaxError: Unexpected token / in JSON at position 0

去掉config.json配置文件中的//及注释（虽然注释里说采用json5解析不需要去掉......）

m3e渠道测试错误

docker命令启动的M3E渠道秘钥用 sk-aaabbbcccdddeeefffggghhhiiijjjkkk