VisRAG：基于视觉的检索增强生成方法

研究背景

1. 研究问题：这篇文章要解决的问题是如何在多模态文档中利用视觉信息来增强大型语言模型（LLMs）的生成能力。传统的检索增强生成（RAG）系统仅基于文本，无法利用布局和图像等视觉信息，这在现实世界的多模态文档中非常重要。
2. 研究难点：该问题的研究难点包括：如何在多模态文档中直接嵌入图像并使用视觉语言模型（VLM）进行检索和生成，从而保留原始文档中的所有信息并消除解析过程中引入的信息损失。
3. 相关工作：该问题的研究相关工作包括基于文本的RAG系统、视觉语言模型（VLMs）和多模态检索与RAG的研究。现有的RAG系统主要处理清洁的文本语料库，而构建有效的多模态文档RAG管道仍然是一个挑战。

研究方法

这篇论文提出了VisRAG，一种基于视觉语言模型的检索增强生成（RAG）方法，用于解决多模态文档中的信息利用问题。具体来说，

实验设计

为了有效构建和评估多模态文档上的RAG管道，作者构建了以下数据集：

1. 数据来源：从一系列视觉问答（VQA）数据集中收集问题和文档对，包括MP-DocVQA、ArXivQA、ChartQA、InfographicsVQA、PlotQA和SlideVQA。此外，还收集了来自在线源的PDF文档，并使用GPT-4o生成查询。
2. 查询过滤：使用llama-3-8b-instruct模型过滤掉上下文依赖的查询，这些查询缺乏对特定实体的特异性。
3. 文档解析：实验了两种文档解析策略：基于管道的解析和基于模型的解析。基于管道的解析使用PPOCR方法，而基于模型的解析使用MiniCPM-V 2.0直接将文档图像转录为文本。

结果与分析

1. 检索性能：VisRAG-Ret在检索性能上优于所有基线模型，包括文本和视觉模型。在域外设置中，VisRAG-Ret比MiniCPM(OCR)和SigLIP分别提高了15%和22%的性能。

2. 生成性能：在使用相同检索器的情况下，VisRAG-Gen显著优于基于文本的RAG生成模型。例如，MiniCPM-V 2.0在使用真实文档时的性能比MiniCPM(OCR)高36%。

3. 端到端性能：VisRAG在检索和生成阶段的准确率均高于TextRAG，整体准确率提高了39%。

4. 训练数据效率：VisRAG-Ret在较少的训练数据下就能表现出优越的性能，显示出其高效的数据利用能力和强大的泛化能力。

总体结论

这篇论文提出了VisRAG，一种新颖的基于视觉语言模型的RAG方法，能够在多模态文档中直接嵌入图像并进行检索和生成，从而消除了传统文本RAG中的解析阶段。实验结果表明，VisRAG在检索和生成性能上均优于基于文本的RAG，并且具有更高的训练数据效率和泛化能力。VisRAG有望成为未来RAG发展的一个重要方向，特别是在处理多模态文档时。

优点与创新

1. 多模态文档处理：VisRAG通过直接嵌入文档图像并使用视觉语言模型（VLM）进行检索和生成，避免了传统文本解析带来的信息丢失问题。
2. 端到端性能提升：实验表明，VisRAG在检索和生成阶段均优于传统的基于文本的RAG系统，端到端性能提升了25-39%。
3. 数据利用效率：VisRAG能够更好地利用训练数据，显示出强大的泛化能力。
4. 多页面推理潜力：使用GPT-4o时，随着检索文档数量的增加，VisRAG的性能显著提升，表明其在多页面推理方面具有潜力。
5. 多种生成方法：提出了页面拼接和加权选择技术，使VisRAG能够处理多个检索到的文档，并展示了单图像和多图像输入VLMs的使用效果。
6. 开源数据集和代码：提供了开源的数据集和代码，便于其他研究者复现和扩展研究。