Loan Database

尽管 RAG 在从文档中检索相关信息方面的能力众所周知，但长上下文方法并不一定会大幅降低覆盖率；某些长上下文 LLM 可以产生相当（甚至更好）的覆盖率。例如，在本研究的受控环境中，具有完整上下文的 Claude 3 Opus 实现了 76.2% 的覆盖率，这比许多其他 RAG 增强模型都要好。
RAG 方法显著提高了引用准确性。除了 Gemini 1.5-pro 在 RAG 和长上下文设置中具有可比的引用分数之外，在确定支持 LLM 响应的精确参考见解方面，RAG 始终是获​​胜的方法。
长上下文存在位置偏差。在长上下文设置中，研究人员评估了将相关见解定位在文档特定位置（开头、中间、结尾）的影响。评估的所有三个模型都表现出位置偏差：当见解位于文档末尾时，GPT-4o 和 Claude3 Opus 表现更好，而当见解位于文档开头时，Gemini-1.5 Pro 表现更好。
目前，当理解文档的整个内容具有明显优势时（例如在摘要任务中），长上下文模型是理想的选择。相比之下，对于准确检索精确细节至关重要且引用质量很重要的场景，RAG 仍然是最佳选择。

专业提示：通过重新排序减轻位置偏差
如前所述，当模型的性能取决于信息在输入文本中的位置时，就会出现位置偏差（例如，模型可能偏向文 罗马尼亚电话号码数据 档开头或结尾的信息）。当关键细节处于被模型边缘化的位置或埋在中间段落中时，这可能会导致性能不佳，这种现象俗称“迷失在中间现象”。

尽管如此，值得注意的是，尽管长上下文可能对位置偏差更敏感，但这个问题也会影响 RAG 管道。一种称为重新排序的技术可以通过重新组织检索到的块来策略性地将最相关的信息放置在所提供上下文的“顶部和尾部”，从而帮助减轻这种影响 。例如，在具有重新排序的 RAG 系统中，检索器最初可能会选择多个文本块，但不会平等对待它们或按其原始顺序使用它们，而是将最相关的块放置在开头或结尾，将最不相关的块放置在中间。

最后总结
这两种方法在企业 AI 应用中都有一席之地，选择哪种方法取决于具体用例。但您无需猜测！以下是确定要采用的方法的基本框架：

决策图

好消息是，通过LLM Mesh和预构建组件与最新的长上下文模型建立安全连接以加速 RAG 工作流程，Dataiku 使团队能够轻松使用这两种方法。随着 LLM 的不断发展，长上下文模型和 RAG 之间的争论可能会持续下去。但要回答开头提出的问题：截至今天，还没有！RAG 并没有过时。尽管上下文窗口不断增长，但 RAG 仍然是数据科学家武器库中的重要工具，并且仍然是某些任务不可或缺的方法。