FastGPT（知识库）+One-API（统一接口管理）+ChatGLM3（本地大模型）+M3E（向量模型）

1.FastGPT（知识库）+One-API（统一接口管理）+ChatGLM3（本地大模型）+M3E（向量模型）2024-12-24

2.Docker部署MaxKB详细步骤（window系统）2024-12-27

本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。其中ChatGLM3和M3E模型都是在windows下部署的，FastGPT和One-API是在Linux下部署。
在私有化和客制化大模型庞大需求推动下，除了从大模型的全量训练和微调这两个模型改动层面上，在大模型外添加一个知识库也是一种解决思路。因为，一方面重新训练模型需要相当多的资源和专业知识，另一方面大模型本身具有知识延迟问题和幻想问题。

知识延迟问题是训练大模型需要一定的时间，从而训练数据就不可能具有实时性，而且相当耗费资源。
幻想问题问题则由于LLM采用的概率模型，即预测生成下一个字符概率是多少，所有或多或少的它在生成结果的时候都有定的可能出现错误。

简单介绍：
https://blog.csdn.net/Bowen_Ding_/article/details/137515750
安装教程：
https://juejin.cn/post/7413931157454651444#heading-25
WSL安装的Ubuntu与docker desktop集成
https://blog.csdn.net/rightkk/article/details/139803540

作者：快乐小王子

出处：https://www.cnblogs.com/alex-oos/p/18626793

版权：本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。