解读阿里云搜索开发工作台如何快速搭建AI语义搜索及RAG链路

转：https://mp.weixin.qq.com/s?__biz=Mzg4MzgxNDk2OA==&mid=2247495162&idx=1&sn=ad5097c1ae3b5c95dbed2a1eccb9ba78&chksm=cf430aadf83483bb88819beaf86b5a9d401b1499631562ba2b9603386e23cf0f674a9333f51f&scene=21#wechat_redirect

 

 

 

 

 

 

 

 

 

 

随着AIGC技术的快速发展，用户获取信息的方式也随之改变，AI+搜索的融合也为企业带来更多的机遇。阿里云搜索开发工作台围绕智能搜索及RAG领域，为企业及开发者提供优质的组件化模型及搜索服务，可灵活搭建AI搜索业务。阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务，结合阿里云搜索引擎及开源引擎，可灵活打造AI语义搜索及RAG链路。

02

产品优势

 

• 丰富的AI搜索能力：依托领先的模型底座训练AI搜索专属模型，内置搜索及RAG场景全链路组件化服务。
• 灵活的调用方式：通过API、SDK调用服务，方便开发者、企业客户及ISV技术人员将部分或全链路AI搜索服务集成到自身业务链路中。
• 开箱即用：开通后即可灵活调用全量服务。
• 最佳实践：基于OpenSearch多年在智能搜索、RAG领域的沉淀，内置多种AI搜索最佳实践，可快速搭建更加适配业务需求的搜索链路。

03

产品能力阿里云搜索开发工作台通过提供离线数据处理模型，以及在线查询理解、重排、大模型等服务，帮助搜索业务提升场景化效果。

1. 文档图片解析服务

面对纷杂的文档数据，如何准确解析不同格式的文档，是搜索业务的前提，也是影响搜索效果的核心因素。阿里云搜索开发工作台提供文档解析服务，支持分钟级解析，同时能够区分多种版式，可从非结构化文档中提取出标题、分段等逻辑层级结构，以及文本、表格、图片、代码等信息，去除页眉、页脚、识别上标、下标等信息，并以结构化的格式输出。针对架构图、分析图表等图片数据，提供图片内容理解服务，可基于多模态大模型对图片内容进行解析理解以及文字识别，也可基于OCR能力对图片文字进行识别，将文字信息提取出来，用于图片检索及问答等场景。

2. 文档切片服务

构建AI语义搜索及RAG链路时，需要依赖于LLM大语言模型或向量表示等模型，目前模型对于数据的处理均有一定的长度要求，如何在有限长度内保障文档的质量也是重要的课题。阿里云搜索开发工作台提供文档切片服务，可基于文档的结构构建宏观粒度的语义切片树，切分时，会确保切片内容的语义完整性。在此基础上，还可以进一步使用单句进行更细粒度的切分。切片内容可用于retrieval阶段，召回切片后，还可使用切片树的信息进行上下文补全，在RAG链路中实现更高的回答准确率。将两种切片策略组合起来进行检索，可进一步提升后续的效果，在典型场景下结果准确率可提升5%，搜索召回率提升7%。

3. 多语言向量模型服务

完成文档解析及切分后，可使用向量模型得到向量表示进行后续的检索，使用向量检索时向量化模型流量会远高于其他模型服务，如何在参数量更少的模型基础上，达到参数量更高一级模型的效果，实现性价比更高的向量模型服务同样重要。阿里云搜索开发工作台提供多语言文本向量模型以及文本稀疏向量模型，可将文本数据转化为稠密向量形式表达，以及可表示关键词和词频信息的稀疏向量形式表达，用于信息检索、文本分类、相似性比较等场景。

4. 查询分析服务

当用户进行搜索查询时，能否理解用户查询意图，检索到更相关的内容是在线查询阶段的关键。阿里云搜索开发工作台提供查询分析服务，可基于模型对用户输入的Query进行意图理解，若用户问题为短文本，理解用户意图就会比较困难。此时，可以对短文本进行语义扩充，做指代消解、省略补全等。

5. 召回排序服务

理解用户查询内容后，将进行精准的检索，如何提升检索效果，将直接影响搜索业务整体的效果。经实践研究发现，混合检索的方式可以进一步提升搜索效果，使用稠密向量（Dense Vector）来解决模糊语义匹配的问题，使用稀疏向量来解决精准关键词匹配的问题。使用稠密向量+稀疏向量进行混合检索，将召回的内容使用搜索开发工作台提供的排序服务进行重排，增加rerank模型后，在典型场景下，召回率提升20%，回答准确率提升12.5%。

6. 大模型服务

使用检索增强后的信息组成Prompt并调用大模型，可有效提升大模型生成的效果。阿里云搜索开发工作台提供通义千问系列大模型，以及微调后的RAG大模型，在通义千问13B模型上，用典型场景的数据测试，能做到10%以下的幻觉率。同时，系统内置的模型均对接绿网，针对输入端及输出端敏感信息进行过滤，保障隐私及安全性。

04

场景实践效果

 

基于搜索开发平台的组件化服务，可快速搭建语义搜索及RAG链路。以客户知识库问答RAG场景实践为例，客户全链路效果随着使用能力的增加而快速提升，最终问题解决率可达到87%。

产品使用

• 开通阿里云搜索开发工作台服务，详情请参见开通服务：https://x.sm.cn/FYYDgvp
• 通过API/SDK调用服务时，需要获取API鉴权密钥信息，详情请参见管理API-KEY：https://x.sm.cn/GNvHz5o
• 调用API/SDK服务体验，详情请参见服务详情，如需使用OpenAI SDK调用，可参见兼容OpenAI SDK服务：https://x.sm.cn/MnAR9R

更多产品详情，请参考阿里云搜索开发工作台产品页 https://www.aliyun.com/activity/bigdata/opensearch/platform