高级 RAG 技术：图解概述
输入“/”快速插入内容
高级 RAG 技术：图解概述
高级 RAG 技术：图解概述
2024年8月19日修改
作者：北方的郎
看到一篇对于RAG介绍得非常好的文章，简单翻译了一下。
以下为译文，翻译过程中有删减。
本文对高级检索增强生成技术和算法的全面研究，将各种方法系统化。 由于本文的目标是对可用的 RAG 算法和技术进行概述和解释，因此我不会深入研究代码中的实现细节，只是引用它们并将其留给可用的大量文档和教程。
介绍
检索增强生成（又名 RAG）为LLM提供从某些数据源检索到的信息，作为其生成答案的依据。 基本上，RAG 是搜索 + LLM 提示 ，您要求模型回答查询，并提供通过搜索算法找到的信息作为上下文。查询和检索到的上下文都被注入到发送给 LLM 的提示中。
RAG 是 2023 年最流行的基于 LLM 的系统架构。有许多产品几乎完全基于 RAG 构建——从将网络搜索引擎与 LLM 相结合的问答服务到数百个与数据聊天的应用程序。
尽管基于嵌入的 搜索 引擎是在 2019 年与 faiss合作开发的，但即使是矢量搜索领域也受到了这种炒作的推动。像 chroma 、 weavaite.io 和 pinecone 这样的矢量数据库初创公司都是建立在现有的开源搜索索引（主要是 faiss 和 nmslib ）之上的最近为输入文本添加了额外的存储空间以及一些其他工具。
基于 LLM 的管道和应用程序有两个最著名的开源库 ——LangChain和 LlamaIndex ，它们分别于 2022 年 10 月和 11 月成立 ， 相差一个月，受到 ChatGPT 发布的启发，并在 2023 年获得了大规模采用。
本文的目的是系统化关键的高级 RAG 技术，并参考其实现（主要在 LlamaIndex 中），以便于其他开发人员深入研究该技术。
问题在于，大多数教程都挑选一种或几种技术并详细解释如何实现它们，而不是描述所有可用的工具。
另一件事是，LlamaIndex 和 LangChian 都是令人惊叹的开源项目，其发展速度如此之快，以至于它们的文档已经比 2016 年的机器学习教科书还要厚。
简单的RAG
本文 RAG 管道从一个文本文档语料库开始，直接跳过如何通过数据加载器从Youtube等数据源获取步骤。
简单 RAG 案例 简而言之，如下所示：将文本分割成块，然后使用一些 Transformer Encoder 模型将这些块嵌入到向量中，将所有这些向量放入索引中，最后创建一个 LLM 提示，告诉模型回答给定我们在搜索步骤中找到的上下文的用户查询。
在运行时，我们使用同一编码器模型对用户的查询进行向量化，然后搜索该查询向量的索引，找到 top-k 个结果，从我们的数据库中检索相应的文本块，并将它们作为上下文输入到 LLM 提示中。
提示可能如下所示：
高级RAG
现在我们将深入了解高级 RAG 技术的概述。这是一个描述核心步骤和所涉及算法的方案。为了保持方案的可读性，省略了一些逻辑循环和复杂的多步骤代理行为。
方案中的绿色元素是进一步讨论的核心 RAG 技术，蓝色元素是文本。并非所有先进的 RAG 想法都可以在单个方案中轻松可视化，例如，省略了各种上下文放大方法 - 我们将在后续深入探讨。
1. 分块（Chunking）和矢量化（Vectorisation）
首先，我们要创建一个向量索引，表示我们的文档内容，然后在运行时搜索所有这些向量与对应于最接近语义的查询向量之间的最小余弦距离。
1.1 分块（Chunking）
Transformer 模型具有固定的输入序列长度，即使输入上下文窗口很大，一个或几个句子的向量也比几页文本的平均向量更好地表示其语义含义（也取决于模型，但是一般来说，这是正确的），因此 对数据进行分块 ——将初始文档分割成一定大小的块，而不会失去其含义（将文本分割成句子或段落，而不是将单个句子分成两部分）。有多种文本分割器实现能够完成此任务。
块的大小是一个需要考虑的参数 - 它取决于您使用的嵌入模型及其令牌容量，标准转换器编码器模型（例如基于 BERT 的句子转换器）最多需要 512 个令牌，OpenAI ada-002 能够处理更长的序列，如 8191 个标记，但 这里的妥协是LLM有足够的上下文来推理与足够具体的文本嵌入，以便有效地执行搜索 。 在这里 您可以找到说明块大小选择问题的研究。 在 LlamaIndex 中， NodeParser 类 涵盖了这一点，其中包含一些高级选项，如定义您自己的文本拆分器、元数据、节点/块关系等。
1.2 矢量化（ Vectorisation ）
2. 搜索索引
2.1 向量存储索引