08 2024 档案

RAPTOR：索引树状RAG和递归推理检索系统
摘要：增强型检索语言模型能够更好地适应世界状态的变化，并整合长尾知识，然而现有大多数方法仅能从检索语料库中检索到较短的连续文本片段，这限制了对整个文档上下文的整体理解。我们引入一种新颖的方法，即递归地嵌入、聚类及总结文本块，自下而上构建一个包含不同层次抽象的树状结构。在推理阶段，我们的RAPTOR模型会从这个树中检索信息，跨过冗长文档的不同抽象层次进行信息整合。受控实验表明，在多个任务上，采用递归摘要进行检索相较于传统的增强型检索语言模型有显著的性能提升。在涉及复杂、多步骤推理的问答任务上，我们展示了最先进的结果;例如，通过将RAPTOR检索与GPT-4相结合，我们在QuALITY基准测试上实现了绝对精度提升20%，达到了新的最佳性能水平。 阅读全文
posted @ 2024-08-04 16:43 egalistmir 阅读(2) 评论(0) 推荐(0) 编辑