5.18今日总结

基于大模型的语料库问答

XXX

（石家庄铁道大学信息科学与技术学院信2105-2班；河北省石家庄市；050000）

摘要:2023年12月，我参加了学校老师建议报名的大学生服务外包创新创业大赛，在那次大赛的赛题里我选择了基于大模型的语料库问答。在这个项目中，我担任系统架构设计师职务，主要负责软件系统架构设计的工作。该系统包括大模型的基础问答能力、基于语料库的问答能力以及良好的交互界面和测试。同时，我们开发的基于大模型的语料库问答系统采用了B/S的架构风格，使得页面的开发更加的具备修改性和灵活性,统一解决在许多特定的垂直业务领域中直接采用开源的通用型LLM经常无法满足该领域应用的要求。最终项目完成并提交作品,获得了较好的评价。

关键字:大模型；语料库问答；系统架构设计；B/S架构

中图分类号：   文献标志码：A

Corpus-based Q&A on large models

XXX

(Class 2105-2, School of Information Science and Technology, Shijiazhuang Tiedao University, Shijiazhuang 050000, China)

Abstract:  In December 2023, I participated in the college student service outsourcing Innovation and Entrepreneurship competition suggested by my school teacher. In the contest question, I chose corpora-based questions based on large models. In this project, I acted as a system architect, mainly responsible for the software system architecture design. The system includes the basic question-answering ability of large model, corp-based question-answering ability and good interactive interface and test. At the same time, the corpora Q&A system based on large model developed by us adopts the B/S architecture style, which makes the development of pages more modified and flexible. In a unified way, the direct use of open source general LLM in many specific vertical business fields often fails to meet the requirements of the application in this field. Finally, the project was completed and the works were submitted, which received a good evaluation.

Key words: large model; Corpus Q&A; System architecture design; B/S architecture

CLC number:         Document code: A

1项目概述

通用型大型语言模型（LLM）已经在许多任务上取得了令人瞩目的成果。一些开源的大模型普遍是在百科、公共网络语料、开源代码库等数据上训练过的，知识分布虽然很全面，但是在一个与公众网络差距较大的领域，这类语言模型并没有包含足够的领域知识。在许多特定的垂直业务领域中，由于其与通用领域之间存在较大差异，直接采用开源的通用型LLM经常无法满足该领域应用的要求。如医学、智能制造、金融、旅游等特定领域，这些领域对于模型的要求更多地集中于对领域知识和偏好的深入理解。以旅游领域为例，该类数据是一个相对容易获取且具备较高的数据价值，围绕某一城市获取相关旅游数据并提供一个便捷的人机交互方式，对于文旅产业的发展以及实现城市智能旅游助手等方面有着重要的意义。

2架构模式

在架构工作开始阶段，我们便意识到，架构风格是一组设计原则，是能够提供抽象框架模式，可以为我们的项目提供通用解决方案的，这种能够极大提高软件设计的重用的方法加快我们的建设进程，因此在老师的建议下，我们使用了虚拟机风格、独立构件风格以及B/S架构风格这两种较常用风格。虚拟机风格中的解释器架构风格能够提供灵活的解析引擎，这类风格非常适用于复杂流程的处理。独立构件风格包括进程通讯风格与隐式调用风格，我们为了简化架构复杂度采用了隐式调用风格，不仅能减低系统耦合度，而且还提高架构的可修改性。。B/S架构风格是基于浏览器和服务器的软件架构，它主要使用http协议进行通信和交互，简化客户端的工作，最终减低了系统推广和维护的难度，以下正文将重点描述架构风格的实施过程和效果。

 B/S 架构主要是利用不断成熟的 WWW 浏览器技术，结合浏览器的多种脚本语言，用通用浏览器就实现了原来需要复杂的专用软件才能实现的强大功能，并节约了开发成本，是一种全新的软件架构。基于 B/S 架构的软件，系统安装、修改和维护全在服务器端解决用户在使用系统时，仅仅需要一个浏览器就可运行全部的模块，真正达到了“零客户端”的功能，很容易在运行时自动升级。B/S 架构还提供了异种机、异种网、异种应用服务的联机、联网、统一服务的最现实的开放性基础。

3总结

项目于2024年4月完成作品，这半年内共经历了2次系统验收，这几次验收过程平稳顺利，其中问答性能没有出现过问题，消息中间件的性能经过多次调优吞吐量也接近了硬盘IO极限，满足当前的消息交互总量，另外由于我们的项目多次在紧急状态下能够快速适应can协议变动，得到过大赛的评价表扬。项目至今还未有重大的问题，系统运行也比较稳定,但是我们项目还有很多功能需要在实践中不断完善，在理论中深入研究加以解决。