1月26日总结（服务外包杯大模型总结）

在本地部署了chatglm3大模型的cpu运行版本，但是运行速度太缓慢。
在阿里云服务器部署了langchain-chatglm大模型，还有一个langchain-chatchat版本，之后会尝试一下。
观看了一些视频，有一些想法：

赛题官方答复可以做多个城市的旅游知识库。

可以添加多模态，生成图片音频，这可以作为一个进阶拔高的地方，目前只是听说了有这方面的内容，还未了解过怎么实现。

chatglm3新特性，可以实现多角色对话，使用系统角色告诉大模型身份，他能够记得更牢固。


各个模型的推理能力对比，目前使用的chatglm3和gpt3相当，日后会考虑购买chatgpt4提升推理能力。


通过以上两张图片可以看出，接入知识库的原理是（个人理解的）：将用户输入的问题输入的问题现在知识库匹配，再将匹配到的内容和用户的问题一并交给大模型，让大模型给出答复。所以使用远程的大模型也可以接入知识库。

chatglm3的新特性，可以调用外部工具，日后可以为系统扩展更多功能。

大模型的多轮对话就是把之前问答的所有信息记录下来，在一次性的喂给他，他的模型本身是没有记忆能力的，是要靠代码把之前的问答存储下来的。

日后的一个扩展方向，sql代码解释器，直接向大模型提出需求，让大模型给出sql代码并执行，直接给出结果。