10.7

检索增强生成（RAG）是Databricks的客户希望在自身数据上定制AI工作流的主要应用场景。大语言模型（LLM）发布的速度非常快，许多客户都想获得最新的指导，以构建最佳的RAG流水线。在之前的博客文章中（LLM的长上下文RAG性能，https://www.databricks.com/blog/long-context-rag-performance-llms），我们在13种流行的开源和商用LLM上进行了超过2000次的长上下文RAG实验，以揭示它们在各种领域特定数据集上的表现。发布这篇博客后，我们收到了许多请求，希望对更多顶尖模型进行进一步的基准测试。

九月，OpenAI发布了GPT o1，依靠额外的推理时计算来增强“推理”能力。我们很想看看这些新模型在我们内部基准测试中会有怎样的表现；增加推理时计算是否会带来显著提升？

我们设计了评估套件，对长上下文的RAG工作流进行压力测试。Google Gemini 1.5模型是唯一具备200万词元上下文长度的顶尖模型，我们对Gemini 1.5模型（5月发布）的表现感到兴奋。200万词元大致相当于一个包含数百篇文档的小型语料库；在这种情况下，开发者构建自定义AI系统时，原则上可以完全跳过检索和RAG，直接将整个语料库包含在LLM上下文窗口中。这些超长上下文模型真的能替代检索吗？

随后，我们对新的顶尖模型OpenAI o1-preview、o1-mini以及Google Gemini 1.5 Pro和Gemini 1.5 Flash进行了基准测试。在进行这些额外实验后，我们发现：

在我们长上下文RAG基准测试中，OpenAI o1模型相比Anthropic和Google模型有持续提升，支持上下文长度最高可达128k词元。

尽管性能不如顶尖的OpenAI和Anthropic模型，但Google Gemini 1.5模型在极端上下文长度（最高达200万词元）下展现了稳定的RAG性能。

不同模型在长上下文RAG任务中表现出不同的失败模式。