大语言模型检索增强生成（RAG）综述
输入“/”快速插入内容
大语言模型检索增强生成（RAG）综述
大语言模型检索增强生成（RAG）综述
2024年8月19日修改
作者：北方的郎
最近在研究怎么优化大语言模型检索增强生成（RAG），看了很多相关文章，感觉这篇国内研究者写的综述整理的挺详细的。
以下为译文，翻译的过程中有小调整。
Abstract
大型语言模型（LLM）展示了重要的能力，但面临着幻觉、过时的知识以及不透明、不可追踪的推理过程等挑战。通过整合外部数据库的知识，检索增强生成（RAG）已成为一种有前景的解决方案。这提高了模型的准确性和可信度，特别是对于知识密集型任务，并允许持续的知识更新和特定领域信息的集成。 RAG 将LLM的内在知识与外部数据库的庞大动态存储库协同融合。这篇综合综述论文详细研究了 RAG 范式的进展，包括朴素 RAG、高级 RAG 和模块化 RAG。它仔细研究了 RAG 框架的三方基础，包括检索、生成和增强技术。该论文重点介绍了每个关键组件中嵌入的最先进技术，让人们对 RAG 系统的进步有了深刻的了解。此外，本文还介绍了评估 RAG 模型的指标和基准，以及最新的评估框架。总之，本文描绘了未来的研究途径，包括识别挑战、扩展多模式以及 RAG 基础设施及其生态系统的进展。1。
1 简介
大型语言模型 (LLM)，例如 GPT系列[布朗等人.,2020，OpenAI，2023]和 LLama 系列 [Touvron 等人。 , 2023 ] 以及 Gemini [Google, 2023 ] 等其他模型在自然语言处理方面取得了显着的成功，展示了超强的性能。通讯作者邮箱：haofen.wang@tongji.edu.cn1 资源可在 https:// / http:// github.com/Tongji-KGLLM /RAG-Surveyrior 在包括 Super-GLUE 在内的各种基准上的性能 [Wang 等人.,2019]，MMLU [Hendrycks 等人.,2020]，和 BIG-bench [Srivastava 等人.,2022]。尽管取得了这些进步，LLM仍表现出明显的局限性，特别是在处理特定领域或高度专业化的查询时 [Kandpal 等人.,2023]。一个常见的问题是产生不正确的信息，或“幻觉”[Zhang et al.，2017].,2023b]，特别是当查询超出模型的训练数据或需要最新信息时。这些缺点凸显了在没有额外保障措施的情况下在现实生产环境中将LLM部署为黑盒解决方案是不切实际的。减轻这些限制的一种有前途的方法是检索增强生成（RAG），它将外部数据检索集成到生成过程中，从而增强模型提供准确和相关响应的能力。
RAG，由 Lewis 等人引入。 [刘易斯等人。 , 2020]2020 年中期，成为LLM领域的典范，增强生成性任务。具体来说，RAG 涉及一个初始检索步骤，其中LLM查询外部数据源以获取相关信息，然后再继续回答问题或生成文本。这个过程不仅为后续生成阶段提供信息，而且确保响应基于检索到的证据，从而显着提高输出的准确性和相关性。在推理阶段从知识库动态检索信息使 RAG 能够解决诸如生成不正确的内容（通常称为“幻觉”）等问题。 RAG 与LLM的集成得到了迅速采用，并已成为完善聊天机器人功能和使LLM更适合实际应用的关键技术。
RAG 的演化轨迹经历了四个不同的阶段，如图 1 所示。自 2017 年诞生以来，随着 Trans-former 架构的出现，主要推动力是通过预训练模型 (PTM) 吸收额外的知识增强语言模型。这个时代见证了 RAG 的基础工作主要针对优化预训练方法。
在这个初始阶段之后，在 chatGPT 出现之前，出现了一段相对休眠期，在此期间，RAG 的相关研究进展甚微。 chatGPT的后续到来标志着该领域的关键时刻Xiv:2312.10997v3 [cs.CL] 3 Jan 2024图1：以代表性工作轨迹为特色的RAG研究发展技术树，将LLM推向最前沿。社区的焦点转向利用LLM的能力来提高可控性并满足不断变化的要求。因此，RAG 的大部分工作集中在推理上，少数致力于微调过程。随着LLM能力的不断进步，特别是随着 GPT-4 的引入，RAG 技术的面貌发生了重大转变。重点演变成一种混合方法，结合了 RAG 和微调的优势，同时少数专门人员继续关注优化预训练方法。
该领域缺乏系统的整合和抽象，这给理解 RAG 进展的全面景观带来了挑战。本次调查旨在通过对LLM检索增强进行彻底检查，概述整个 RAG 流程，并涵盖 RAG 研究当前和未来的方向。
因此，本文旨在对LLM出现后的技术原理、发展历史、内容，特别是相关方法和应用，以及RAG的评估方法和应用场景进行全面的总结和整理。它旨在对现有 RAG 技术进行全面的概述和分析，并为未来的开发方法提供结论和前景。本次调查旨在让读者和从业者对大型模型和RAG有一个全面、系统的理解，阐明检索增强的进展和关键技术，阐明各种技术的优点和局限性及其适用环境，并预测未来潜在的发展.我们的贡献如下：
•
我们对最先进的 RAG，通过包括朴素 RAG、高级 RAG 和模块化 RAG。这篇评论结合了更广泛的背景LLM领域内的 RAG 研究范围。
•
我们确定并讨论 RAG 流程中不可或缺的核心技术，特别关注“检索”、“生成”和“增强”方面，以及
•
深入研究它们的协同作用，阐明这些组件如何错综复杂地协作形成一个有凝聚力且有效的 RAG 框架。
•
我们为RAG 构建了完整的评估框架，概述了评估目标和指标。我们的比较分析从各个角度阐明了 RAG 与微调相比的优缺点。此外，我们预计 RAG 的未来方向，强调潜在的增强功能应对当前的挑战、向多模式环境扩展以及生态系统的发展。
本文的展开如下：第 2 节和第 3 节定义了 RAG 并详细介绍了其发展过程。第 4 节到第 6 节探索核心组件——检索、“生成”和“增强”——重点介绍了不同的嵌入式技术。第 7 节重点介绍 RAG 的评估系统。第 8 节将 RAG 与其他 LLM 优化方法进行比较提出其发展的潜在方向。本文在第 9 节中总结。
2 定义
RAG 的定义可以从其工作流程来概括。图 2描述了典型的 RAG 应用程序工作流程。在这个场景中，用户向 ChatGPT 询问最近发生的一件备受瞩目的事件（即 Ope-nAI 首席执行官的突然解雇和复职），该事件引起了相当多的公众讨论。ChatGPT 作为最著名和广泛使用的LLM，受其预训练数据的限制，缺乏对最近发生的事件的了解。 RAG 通过从外部知识库检索最新文档摘录来弥补这一差距。在这种情况下，它会获取与调查相关的精选新闻文章。这些文章与最初的问题一起合并成一个丰富的提示，使 ChatGPT 能够综合明智的响应。这个例子说明了 RAG 过程，展示了它通过实时信息检索增强模型响应的能力。
从技术上讲，RAG 通过各种创新方法得到了丰富，解决了诸如“检索什么”、“何时检索”和“如何使用检索到的信息”等关键问题。信息”。对于“检索什么”的研究已经从简单的标记开始取得进展 [Khandelwal 等人.,2019]身份检索[Nishikawa 等人.,2022]更复杂的结构，如块[Ram 等人.,2023]和知识图谱[Kang 等人.,2023]，研究重点是检索的粒度和数据结构化的水平。粗粒度带来更多信息，但精度较低。检索结构化文本可提供更多信息，但会牺牲效率。 “何时检索”的问题导致了从单一的策略[Wang et al. ，2023e，Shi 等人.,2023]到自适应[Jiang 等人.,2023b，黄等人.,2023]和多重检索[Izacard 等人.,2022]方法。检索频率高带来的信息较多，但效率较低。至于“如何使用”检索到的数据，已经在模型架构的各个级别上开发了集成技术，包括输入[Khattab 等人，2017].,2022]，中级 [Borgeaud 等人.,2022]，和输出层[Liang et al.,2023]。虽然“中间层”和“输出层”的效果比较好，但存在需要训练、效率低的问题。
RAG 是一种通过整合外部知识库来增强LLM的范式。它采用协同方法，结合信息检索机制和情境学习（ICL）来提高LLM的表现。在此框架中，用户发起的查询提示通过搜索算法检索相关信息。然后，这些信息将被融入到LLM的提示中，为生成过程提供额外的上下文。 RAG 的主要优势在于它无需针对特定任务的应用程序对LLM进行再培训。开发人员可以添加外部知识库，丰富输入，从而提高模型的输出精度。 RAG因其高实用性和低进入门槛而成为LLM系统中最受欢迎的架构之一，许多会话产品几乎完全基于RAG构建。
RAG工作流程包括三个关键步骤。首先，将语料库划分为离散块，在这些块上利用编码器模型构建向量索引。其次，RAG 根据块与查询和索引块的向量相似性来识别和检索块。最后，该模型根据从检索到的块中收集的上下文信息合成一个响应。这些步骤构成了 RAG 流程的基本框架，支撑着其信息检索和上下文感知生成功能。接下来，我们将介绍RAG研究框架。
3 RAG框架