目录
1. Introduction2. Preliminary3. Method4. Application5. Discussion6. Conclusion模型算法的进步、可扩展的基础模型架构以及充足的高质量数据集的可用性促进了人工智能生成内容（AIGC）的发展。尽管 AIGC 取得了令人瞩目的表现，但它仍然面临着挑战，例如难以维护 最新的长尾知识、 数据泄露的风险以及与训练和推理相关的 高成本。检索增强生成（RAG）最近成为解决此类挑战的范例。特别是，RAG 引入了 信息检索过程，该过程通过从可用数据存储中检索相关对象来增强 AIGC 结果，从而提高准确性和鲁棒性。论文全面回顾了将 RAG 技术集成到 AIGC 场景中的现有努力。论文首先根据检索器如何增强生成器对 RAG 基础进行 分类。然后提取了各种 检索器和生成器的增强方法的基本概念。这种统一的视角涵盖了所有 RAG 场景，阐明了有助于未来潜在进步的进步和关键技术。论文还总结了 RAG 的其他增强方法，促进 RAG 系统的有效工程和实施。然后从另一个角度，论文调查了 RAG 在不同模式和任务中的实际应用，为研究人员和从业者提供有价值的参考。此外，论文介绍了 RAG 的基准，讨论了当前 RAG 系统的局限性，并提出了未来研究的潜在方向。项目仓库：https://github.com/hymie122/RAG-Survey。
1. Introduction
A: Background
AIGC 仍然面临着许多众所周知的挑战，包括难以维持最新的知识、无法整合长尾知识 [26] 以及泄露私人训练数据的风险[27]。检索增强生成（RAG）旨在通过其适应性强的数据存储库来缓解（如果不是完全解决的话）上述挑战。为检索而存储的知识可以被概念化为非参数记忆。这种形式的记忆很容易修改，能够容纳广泛的长尾知识，并且还能够对机密数据进行编码。此外，还可以利用检索来降低生成成本。例如，RAG 可以减小大型生成模型的大小 [28]，为长上下文提供支持 [29]，并消除某些生成步骤 [30]。
典型的 RAG 过程如图 1 所示：给定输入查询，检索器定位并查找相关数据源，然后检索结果与生成器交互以增强整体生成过程。检索结果可以以不同的方式与生成过程交互：它们可以作为生成器的增强输入[31]、[32]；它们可以在生成的中期阶段作为潜在表示加入[33]，[34]；它们可以以 logits 的形式对最终的生成结果做出贡献[35]，[36]；他们甚至可以影响或忽略某些生成步骤[30]，[37]。此外，在典型的基础 RAG 流程的基础上，还提出了许多增强措施来提高整体质量。这些增强功能包括针对特定组件的方法以及针对整个管道的优化。
尽管RAG的概念最初出现在文本到文本生成[32]中，但它也已适应各种领域，包括代码[38]-[40]、音频[41]、[42]、图像[43]-[ 45]，视频[46]，[47]，3D [48]，[49]，知识[50]-[52]，以及科学人工智能[53]，[54]。特别是，RAG 的基本思想和流程在不同模式中基本一致。然而，它需要对增强技术进行特定的微小调整，并且检索器和生成器的选择根据具体模式和任务而变化。
尽管最近对 RAG 的研究迅速增长，但涵盖所有基础、增强功能和应用的系统综述却明显缺乏。缺乏对 RAG 基础的讨论极大地削弱了该领域研究的实用价值，使得 RAG 的潜力没有得到充分开发。虽然大多数研究兴趣（尤其是LLMs研究人员）都集中在文本生成任务中基于查询的 RAG，但必须承认其他 RAG 基础范式也是有效的技术，具有巨大的使用和进一步开发潜力。缺乏对 RAG 应用的概述导致研究人员和从业者忽视 RAG 在多种模式上的进展，并且不知道如何有效地应用 RAG。尽管文本生成通常被认为是 RAG 的主要应用，但论文强调，RAG 在其他模式中的开发也很早就开始了，并取得了有希望的进展。某些模式与检索技术有着丰富的历史联系，为 RAG 注入了独特的特征。尽管已经提出了一些关于RAG的调查，但它们主要集中在局部方面，例如具体方法和任务。论文的目标是提出一项全面的调查，以提供 RAG 的系统概述。
B： Contribution
这项调查提供了 RAG 的全面概述，涵盖基础、增强功能、应用程序、基准、不足和潜在的未来方向。虽然检索器和生成器在模式和任务方面表现出差异，但论文提炼了 RAG 基础的基本概念，将应用程序视为源自这些概念的适应。论文的目标是为研究人员和从业者提供参考和指南，为推进 RAG 方法和相关应用提供宝贵的见解。论文的贡献如下：
论文结构： 论文的其余部分安排如下。第二节详细阐述了 RAG 的前期工作，介绍了检索器和生成器。第三节介绍了 RAG 的基础以及 RAG 的进一步增强。第四节回顾了 RAG 在各种应用中的现有研究。第五节研究 RAG 的基准框架。第六节讨论 RAG 当前的局限性和未来潜在的方向。最后，第七节总结了本文。
2. Preliminary
检索器：
稀疏检索器：
与稀疏检索不同，密集检索方法使用密集嵌入向量表示查询和键，并构建近似最近邻（ANN）索引以加速搜索。该范式可以应用于所有模式。对于文本数据，预训练模型的最新进展，包括 BERT [15] 和 RoBERTa [99]，被用作编码器来分别编码查询和键 [19]、[100]–[103]。与文本类似，已经提出了模型来编码代码数据[24]、[104]、[105]、音频数据[25]、[106]、图像数据[23]、[107]和视频数据[108] ，[109]。密集表示之间的相似度得分可以使用余弦、内积、L2距离等方法计算。在训练过程中，密集检索通常遵循对比学习范式，使正样本更加相似，而负样本则不太相似。已经提出了几种硬否定技术[100]、[110]来进一步提高模型质量。在推理过程中，应用近似最近邻（ANN）方法进行有效搜索。开发了各种索引来服务 ANN 搜索，例如树[111]、[112]、局部敏感散列[113]、邻居图索引（例如，HNSW [114]、DiskANN [115]、HMANN [116]）、图索引和倒排索引的组合（例如 SPANN [117]）。
3. Method
在本节中，论文首先在 AIGC 的背景下介绍 RAG 基础。随后，概述了进一步提高 RAG 有效性的增强方法。
4. Application
5. Discussion
A Limitations：
1）**检索结果中的噪声：**信息检索无法产生完美的结果，因为信息丢失出现在编码器模型生成的表示中。此外，人工神经网络搜索还可以提供近似结果而不是精确结果。因此，检索结果中不可避免地存在一定程度的噪声，表现为不相关的对象或误导性信息，这可能会导致RAG系统的故障点[257]。尽管常识是提高检索的准确性将有助于 RAG 的有效性，但最近的一项研究令人惊讶地表明，嘈杂的检索结果可能反而有助于提高生成质量 [258]。一个可能的解释是，检索结果的多样性对于快速构建也可能是必要的[259]。因此，噪声对检索结果的影响仍然不确定，导致人们对采用哪种度量进行检索以及如何促进检索器和生成器之间的交互感到困惑。预计对该主题的后续研究将揭开这种混乱的神秘面纱。
2）**额外开销：**虽然在某些情况下检索可以帮助降低生成成本[28]-[30]，但检索的结合有时会带来不可忽略的开销。考虑到 RAG 主要用于提高现有生成模型的性能，包含额外的检索和交互过程会导致延迟增加。更糟糕的是，当与复杂的增强方法（例如递归检索[166]和迭代RAG[197]）结合使用时，额外的开销将变得更加显着。此外，随着检索规模的扩大，与数据源相关的存储和访问复杂性也会增加。在存在的情况下，RAG 系统表现出成本和收益之间的权衡。论文预计未来将进一步优化以减轻相关开销。
3）检索和生成的交互：实现检索和生成组件之间的无缝集成需要精心的设计和优化。鉴于检索器和生成器的目标不一致，并且两个模型可能不共享相同的潜在空间，设计和优化这两个组件之间的交互会遇到挑战。正如第三节中所介绍的，已经提出了多种方法来实现有效的 RAG，这些方法要么解开检索和生成过程，要么在中间阶段将它们集成。虽然前者更加模块化，但后者可能会从联合训练中受益。到目前为止，还缺乏对不同场景下不同交互方式的充分比较。 RAG 系统的调整也具有挑战性。最近一项关于即时增强式 RAG 中归因和流畅度之间权衡的研究表明，使用 top-k 检索进行生成可以改善归因，但反过来会损害流畅度 [260]。 RAG 中不同方面的反作用（例如度量选择和超参数调整）仍未被探索。因此，有必要在算法和部署方面进一步完善RAG系统，以充分释放其潜力。
4）**长上下文生成：**利用即时增强的早期 RAG 的主要挑战之一是生成器固有的上下文长度限制。即时压缩[183]和长上下文支持[261]方面的研究进展部分缓解了这一挑战，尽管在准确性或成本方面略有权衡。鉴于这一挑战，最近出现了一个观点：“像 Gemini 1.5 这样的长上下文模型将取代 RAG”。然而，这种说法并不成立——RAG 在管理动态信息方面表现出更大的灵活性，涵盖最新的和长尾的知识 [262]。论文相信，RAG 未来将利用长上下文生成来实现更好的性能，而不是简单地被它淘汰。
B. 潜在的未来方向
1）关于 RAG 方法、增强和应用的更高级研究：一个直接的研究方向是开发 RAG 更先进的方法、增强和应用。正如第 III-A 节中所介绍的，现有的工作已经探索了检索器和生成器之间的各种交互模式。然而，由于这两个组件的优化目标不同，实际的增强过程对最终的生成结果有很大影响。对更先进的增强基础的研究有望充分释放 RAG 的潜力。基于构建的RAG系统，增强功能有助于提高某些组件或整个管道的有效性。鉴于系统固有的复杂性，RAG 存在巨大的改进潜力，需要适当的调整和仔细的工程设计。期待进一步的实验分析和深入探索，开发更有效、更强大的 RAG 系统。正如第四节中所介绍的，RAG 是一种通用技术，已应用于多种模式和任务。然而，大多数现有作品直接整合外部特定生成任务的知识，而没有彻底考虑目标领域的关键特征。
2）高效部署和处理：目前，已经提出了几种针对LLM的基于查询的RAG部署解决方案，例如LangChain[263]和LLAMAIndex[169]。然而，对于其他类型的 RAG 和生成任务，缺乏即插即用的解决方案。此外，考虑到检索带来的额外开销，并考虑到检索器和生成器的复杂性将继续增长，在 RAG 中实现高效处理仍然是一个挑战，需要有针对性的系统优化。
3）结合长尾和实时知识：虽然RAG的一个关键动机是利用实时和长尾知识，但知识更新和扩展的管道仍未探索。现有的许多工作仅用生成器的训练数据构成检索源，从而忽略了检索本来可以提供的动态和灵活的信息优势。因此，设计一个具有不断更新的知识和/或灵活的知识源的有用的RAG系统，以及相应的系统级优化，是一个不断发展的研究方向。凭借长尾知识的利用能力，期望RAG能够利用个性化的信息和特征，以适应当今的网络服务。
4）与其他技术相结合：本质上，RAG 与其他技术正交，这些技术的目标都是提高 AIGC 的有效性，包括微调、强化学习、思想链、基于代理的生成和其他潜在的优化。然而，同时应用这些技术的探索仍处于早期阶段，需要进一步研究深入算法设计并充分发挥其潜力。
6. Conclusion
论文对 AIGC 相关场景中的 RAG 进行了彻底、全面的调查，特别关注增强基础、增强功能和实际应用。论文首先系统地组织和总结了 RAG 的基础范式，为检索器和生成器之间的交互提供了见解。基于构建的 RAG 系统，论文回顾了进一步提高 RAG 有效性的增强功能，包括输入、检索器、生成器和结果的增强。为了方便不同领域的研究人员，论文展示了 RAG 在一系列模式和任务中的实际应用。最后，还介绍了 RAG 的现有基准，讨论了 RAG 当前的局限性，并阐明了有希望的未来方向。